利用KL变换进行特征提取的实验报告稿

模式识别大作业 班级：0 9 0 3 0 9 0 1 题目：利用 K-L变换进行特征提取的实验 姓名：陈升富 学号：********** 姓名：黎 照 学号：********** 姓名：益 琛 学号：********** 日期：2012/4/25 1、基本要求 用 FAMALE.TXT 和 MALE.TXT 的数据作为本次实验使用的样本集，利用 K-L 变换对该样本集进行变换，与过去用 Fisher 线性判别方法或其它方法得到的分类面进行比较，从而加深对所学内容的理解和感性认识。 2、具体做法 (1)不考虑类别信息对整个样本集进行 K-L 变换（即 PCA），并将计算出的新特征方向表示在二维平面上，考察投影到特征值最大的方向后男女样本的分布情况并用该主成分进行分类。 (2)利用类平均向量提取判别信息，选取最好的投影方向，考察投影后样本的分布情况并用该投影方向进行分类。 (3)将上述投影和分类情况与以前做的各种分类情况比较，考察各自的特点和相互关系。 3、K-L 变换的原理 设 n 维随机向量12,,...,Tnx xxx ，其均值向量E xu    ，相关矩阵xTERx x ，协方差矩阵  xECx ux u， x 经正交变换后产生向量12,,...,Tnyy yy。 设有标准正交变换矩阵T，（即 T'T=I） 1212'()'(,)'nnyT xt ttxy yy，'iiytx (1 ,2, )in 11( ')niiixTyT yy t  （称为 x 的 K-L 展开式） 取前 m 项为 x的估计值1ˆmi iixyt  1mn其均方误差为 2Tˆˆ( )() ()mExxxx2'11[][]nniiii mi mE yE y y 2( )m211[][]nniiii mi mE yE y y11()nniiix ii mi mt E xx tt R t 在T‘T=I的约束条件下,要使均方误差 21ˆˆ( )[()'()]'minnix ii mmE xxxxt R t 为此设定准则函数11'( '1)nnix iiiii mi mJt R tt t 由 0iJt可得 ()0xiiRI t 1,...,imn 即x ii iR tt 1,...,imn 表明: i是xR 的特征值，而it 是相应的特征向量。利用上式有 : 2111( )''nnnix iii iii mi mi mmt R ttt 用“截断”方式产生 x 的估计时，使均方误差最小的正交变换矩阵是其相关矩阵 Rx的前 m 个特征值对应的特征向量构成的。 4、实验内容 实验中...