FISHER线性判别MATLAB实现

Fisher 线性判别上机实验报告 班级： 学号： 姓名： 一．算法描述 Fisher 线性判别分析的基本思想：选择一个投影方向（线性变换，线性组合），将高维问题降低到一维问题来解决，同时变换后的一维数据满足每一类内部的样本尽可能聚集在一起，不同类的样本相隔尽可能地远。 Fisher 线性判别分析，就是通过给定的训练数据，确定投影方向W 和阈值 w0， 即确定线性判别函数，然后根据这个线性判别函数，对测试数据进行测试，得到测试数据的类别。 线性判别函数的一般形式可表示成0)(wXWXgT 其中 dxxX1 dwwwW21 Fisher 选择投影方向W 的原则，即使原样本向量在该方向上的投影能兼顾类间分布尽可能分开，类内样本投影尽可能密集的要求。 如下为具体步骤： （1）W 的确定 各类样本均值向量 mi 样本类内离散度矩阵iS 和总类内离散度矩阵wS 12wSSS x1mx, 1,2iiXiiNTxS(x m )(x m) , 1,2iiiiXi 样本类间离散度矩阵bS 在投影后的一维空间中，各类样本均值Tiim '= Wm 样本类内离散度和总类内离散度 TTiiwwS' = W S W S ' = W S W 样本类间离散度TbbS ' = W S W Fisher 准则函数为 max2221221~~)~~()(SSmmWJF （2）阈值的确定 w0 是个常数，称为阈值权,对于两类问题的线性分类器可以采用下属决策规则: 令)()()(21xxxggg则： 如果g(x)>0,则决策wx1；如果g(x)<0,则决策wx2；如果g(x)=0,则可将x任意分到某一类，或拒绝。 （3）Fisher 线性判别的决策规则 Fisher 准则函数满足两个性质： 1.投影后，各类样本内部尽可能密集，即总类内离散度越小越好。 2.投影后，各类样本尽可能离得远，即样本类间离散度越大越好。 根据这个性质确定准则函数，根据使准则函数取得最大值，可求出 W：-1w12W = S (m - m) 。 这就是Fisher 判别准则下的最优投影方向。 最后得到决策规则 若PPmmwwwxxgT)()(2112log))(21()(大于或小于，则{12wwx T1212S(m m)(m m)b  对于某一个未知类别的样本向量x，如果y=WT·x>y0，则 x∈w1；否则 x∈w2。 二．数据描述 1.iris 数据 IRIS 数据集以鸢尾花的特征作为数据来源，数据集包含 150 个数据集，有4 维，分为 3 类，每类50 个数据，每个数据包含 4 个属性，是在数据挖掘、数据分类中非常常用的测试集、训练集。 2.son...