两类正态分布模式的贝叶斯判别

1 两类正态分布模式的贝叶斯判别 硕633 3106036072 赵杜娟 一.实验目的 1．理解贝叶斯判别原则，编写两类正态分布模式的贝叶斯分类程序； 2．了解正态分布模式的贝叶斯分类判别函数； 3．通过实验，统计贝叶斯判别的正确率。 二.实验原理 （1）贝叶斯判别原则 对于两类模式集的分类，就是要确定 x 是属于1 类还是2 类，这要看 x 来自1 类的概率大还是来自2 类的概率大，根据概率的判别规则，可以得到： 如果)|()|(21xPxP 则 1x 如果)|()|(21xPxP 则 2x （1.1） 利用贝叶斯定理，可得 )()()|()|(xpPxpxPiii 式中， )|(ixp亦称似然函数。把该式代入（1.1）式，判别规则可表示为： )()|()()|(2211PxpPxp 则 1x )()|()()|(2211PxpPxp 则 2x 或写成： )()()|()|()(122112PPxpxpxl 则 1x )()()|()|()(122112PPxpxpxl 则 2x （1.2） 这里，12l 称为似然比，2112)()(PP称为似然比的判决阈值。该式称为贝叶斯判别。 2 （2）正态分布模式的贝叶斯分类器判别原理 具有M 种模式类别的多变量正态分布的概率密度函数为： )]()(21exp[)2(1)|(1212iiTiinimxCmxCxP 2,1i （1.3） 式中，x是n 维列向量； im 是n 维均值向量； iC 是nn协方差矩阵；iC 为矩阵iC 的行列式。且有  iimE x； TiiiimxmxEC； iE x 表示对类别属于i 的模式作数学期望运算。 可见，均值向量im 由 n 个分量组成，协方差矩阵iC 由于其对称性故其独立元素只有2)1( nn个，所以多元正态密度函数完全由2)1( nnn个独立元素所确定。取自一个正态总体的样本模式的分布是聚集于一个集群之内，其中心决定于均值向量，而其分布形状决定于其协方差矩阵，分布的等密度点的轨迹为超椭圆，椭圆的主轴与协方差矩阵的本征向量的方向一致，主轴的长度与相应的协方差矩阵的本征值成正比。 类别的判别函数可表示为：)()|()(iiiPxPxd 对于正态密度函数，可对判别函数取自然对数，即： )(ln)]|(ln[)(iiiPxPxd 将（1.3）代入上式，简化后可以得到： )()(21ln21)(ln)(1iiTiiiimxCmxCPxd 这是正态分布模式的贝叶斯判别函数。显然，上式表明)(xdi是超二次曲面，所以对于两类正态分布模式的贝叶斯分类器，两个模式类别之间用一个...