1第四章线性判别函数 4.0 引言 4.1 Fisher线性判别 4.2 最小平方误差准则 4.3 最小错分样本数准则 4.4 线性支撑向量机（SVM）24.0 引言34.0 引言 Bayes决策尽管是最优决策，但实现困难。 模式识别的任务是分类，可直接设计判别函数—即分类面。 最简单的判别函数是线性函数，相应的分类面是超平面。44.0 引言 线性判别函数（两类）：是分类面方程；是分类面的法向量；是分类面的偏移； 设计线性分类器的关键是给出估计的准则。<>+=2100)(ωωbxwxgTwb0)(=xg,w b54.0 引言 线性判别函数的几何意义：w0=+bxwT64.0 引言 选择就是找一个最佳投影方向。只与方向有关，和大小无关！ 投影后是一维数据的分类问题。ww74.1 Fisher线性判别84.1 Fisher线性判别 Fisher判别的基本思想：希望投影后的一维数据满足： 两类之间的距离尽可能远； 每一类自身尽可能紧凑。 准则的描述： 用投影后数据的统计性质—均值和离散度的函数作为判别优劣的标准。94.1 Fisher线性判别 符号含义：——两类（原始）数据的均值向量。分别表示两类（原始）数据的离散度矩阵。分别表示两类（投影后，一维）数据的均值。分别表示两类（投影后，一维）数据的离散度。21,µµ21,σσ21,mm21,SS104.1Fisher线性判别()2,1))((=−−∑=imxmxSTiii2,11=∑=ixNmi•均值向量和离散度矩阵114.1 Fisher线性判别 原始数据与做方向投影后数据统计量之间的关系：w,iTimw=µ.2,1=i.))(()(22wSwwmxmxwxwiTTiiTiTi=−−=−=∑∑µσ124.1 Fisher线性判别 Fisher准则函数：.)()(2221221σσµµ+−=wJF1).(maxargwJwFopt =类间距总类内离散度134.1 Fisher线性判别.)())(()()()(212121212212221221wSSwwmmmmwwSwwSwmwmwwJTTTTTTTF+−−=+−=+−=σσµµ144.1 Fisher线性判别 称类间离散度矩阵。 称类内总离散度矩阵。TbmmmmS))((2121−−=21SSSw+=.)(wSwwSwwJwTbTF=154.1 Fisher线性判别 Fisher准则的合理性：只与投影方向有关，与大小无关— 若是一个最优解，也是最优解，是任何不为零的常数。)(wJFwwkwk164.1 Fisher线性判别 Fisher最佳投影方向的求解： 要求：正定。否则，存在投影方向，使得没有极大值。21SSSw+=w.0=wSwwT)(wJF所有数据被投影到一点上！174.1 Fisher线性判别 求出最佳投影方向上任何一个即可。有上界，最佳投影方向一定存在！分别是矩阵 的最...
