模式识别_孙即祥_第四章统计判决gVIP专享VIP免费

模式识别主讲：蔡宣平教授电话：73441（O）,73442（H）E-mail：xpcai@nudt.edu.cn单位:电子科学与工程学院信息工程系随机模式分类识别，通常称为Bayes(贝叶斯)判决。（基础复习）第四章统计判决主要依据类的概率、概密，按照某种准则使分类结果从统计上讲是最佳的。准则函数不同，所导出的判决规则就不同，分类结果也不同。本章主要论述分类识别的一般原理、几种重要的准则和相应的判决规则，正态分布模式类的判决函数以及它们的性能。Bayes公式：设实验E的样本空间为S，A为E的事件，B1,B2,…,Bn为S的一个划分，且P(A)>0，P(Bi)>0，(i=1,2,…,n)，则:)()()|()()|()()|()|(1APBPBAPBPBAPBPBAPABPiinjjjiii“概率论”有关概念复习)()()()(iiiBAPBPABPAPB1SB2B3B4A划分示意图“概率论”有关概念复习)()()()(iiiBAPBPABPAP条件概率“概率论”有关概念复习)()()()(iiixpPxPxp)()()()(iiiBAPBPABPAP先验概率：P(i)表示类i出现的先验概率，简称类i的概率。后验概率：P(i|x)表示x出现条件下类i出现的概率,称其为类别的后验概率，对于模式识别来讲可理解为x来自类i的概率。类概密：p(x|i)表示在类i条件下的概率密度，即类i模式x的概率分布密度，简称为类概密。为表述简洁，我们将随机矢量X及它的某个取值x都用同一个符号x表示，在以后各节中出现的是表示随机矢量还是它的一个实现根据内容是可以清楚知道的。“概率论”有关概念复习nXiixdxpxgxgE)()()(条件期望(某个特征)因不涉及x的维数,可将Xn改写为特征空间。xdxpxgxgEii)()()(对于两类1，2问题，直观地，可以根据后验概率做判决：121122(|)(|)(|)(|)pωxpωxxpωxpωxx若则若则21(|)()(|)()(|)()(|)()iiiiiiiipxPpxPpxpxpxP式中，p(x|i)又称似然函数(likelihoodfunctionofclassi)，可由已知样本求得。Bayes法则－最大后验概率准则根据Bayes公式，后验概率可由类i的先验概率P(i)和条件概率密度来表示，即(/)ipx(/)ipx将P(i|x)代入判别式，判别规则可表示为1122111222(|)()(|)()(|)()(|)()pxωPpxωPxpxωPpxωPx若则若则或改写为212122112112122112)()()|()|()()()|()|(xPPxpxplxPPxpxpl则则l12称为似然比（likelihoodratio），12称为似然比的判决阀值。原则：要确定x是属于ω1类还是ω2类，要看x是来自于ω1类的概率大还是来自ω2类的概率大。已知：（统计结果）先验概率：P(1)=1/3（鲈鱼出现的概率）P(2)=1-P(1)=2/3（鲑鱼出现的概率）条件概率：p(x|1)见见见（鲈鱼的长度特征分布概率）p(x|2)见见见（鲑鱼的长度特征分布概率）求：后验概率：P(|x=10)=?（如果一条鱼x＝10，是什么类别？）解法1：111111122(10|)()(|10)()(|)()(|)()(|)()0.051/30.0480.051/30.502/3pxPPxpxpxPpxPpxP10101010利用Bayes公式写成似然比形式1122212112122(|)0.05100.1(|)0.50()2/32()1/3,,pxlxpxPPlxx10（）10判决阀值（10）即是鲑鱼。解法2：例题1图示)(1xP)(2xPx条件概率密度分布)(ixP鲈鱼鲑鱼100.050.55.58.5例题1图示)(1xP)(2xPx2.04.06.08.00.1后验概率分布)(xPi10最小误判概率准则判决最小损失准则判决最小最大损失准则N-P(Neyman—Pearson)判决第四章统计判决4·1最小误判概率准则判决第四章统计判决图例：最小误判概率准则P(x/w1)p(w1)P(x/w2)p(w2)tΩ1Ω2P(w2)ε21P(w1)ε12x)()(11Pxp)()(22Pxp212)(P121)(P最小误判概率准则下的判决规则：如果，则判)()(11xpP)()(22xpP21x12x)()()(2112xpxpxl)()(12PP或等价地，如果，则判)(1xP)(2xP21x另一个等价形式是：如果则判)()()()(iiixpPxPxp由贝叶斯定理对于多类问题，...