模式识别作业三——kl变换VIP专享

模式识别作业报告 组员： 2 0 1 1 3 0 2 2 6 5 孔素瑶2 0 1 1 3 0 2 2 6 8 马征 2 0 1 1 3 0 2 2 7 3 周昳慧 第 1 页 一、实验要求 用 FAMALE.TXT 和 MALE.TXT 的数据作为本次实验使用的样本集，利用 K-L 变换对该样本集进行变换，与过去用 Fisher 线性判别方法或其它方法得到的分类面进行比较，从而加深对所学内容的理解和感性认识。 二、具体做法 1． 不考虑类别信息对整个样本集进行 K-L 变换（即 PCA），并将计算出的新特征方向表示在二维平面上，考察投影到特征值最大的方向后男女样本的分布情况并用该主成分进行分类。 2． 利用类平均向量提取判别信息，选取最好的投影方向，考察投影后样本的分布情况并用该投影方向进行分类。 3 ． 将上述投影和分类情况与以前做的各种分类情况比较，考察各自的特点和相互关系。 三、实验原理 设 n维随机向量Tnxxxx),,(21，其均值向量][xEu ，相关矩阵][TxxxER ，协方差矩阵]))([(TxuxuxEC， x 经正交变换后产生向量Tnyyyy),,(21。 设有标准正交变换矩阵)),,((21ntttTT，（即ITT T） TnTnyyyxtttxTy),,(),,(2121，xtyTii  (1,2, )in niiiTtyyTyTx11 （称为 x 的 K-L 展开式） 取前 m 项为 x 的估计值1ˆmi iixyt  1mn其均方误差为 nmiiinmiiTyyEyExxxxEm1'12][][)]()[()( nmiixinmiinmiiitRttxxEtyyEm1'1''1')(][)( 在ITT'的约束条件下,要使均方误差 min)]()[()(1''nmiixitRtxxxxEm 第 2 页 为此设定准则函数nmiiTiinmiixTitttRtJ11)1( 由 0iJt可得()0xiiRI t 1,...,imn 即x ii iR tt 1,...,imn 表明: i是xR 的特征值，而it 是相应的特征向量。利用上式有: nmiinmiiiTinmiixTitttRtm111)( 用“截断”方式产生 x 的估计时，使均方误差最小的正交变换矩阵是其相关矩阵 Rx的前 m个特征值对应的特征向量构成的。 四、实验内容 实验中，训练样本集的身高和体重数据构成二维特征向量。利用K-L 变换，找出合适的投影方向，将原坐标系中的二维向量变为新坐标系中的一维向量，根据变换后的数据进行分类及为实验目的。 (1).不考虑性别信息的特征提取 根据训练样本...