机器学习Bayes分类器VIP免费

1智能科学与技术系刘冀伟机器学习基础第五章贝叶斯判别器目录CONTENT123贝叶斯决策论朴素贝叶斯分类器贝叶斯网络45EM算法半朴素贝叶斯分类器>>>贝叶斯决策论5.15.1Bayesian决策论机器学习基础-第五章Bayesian分类器of394已知-数据集合(D)：11221212,,,,,,:;{,,,}mmiiidiiNDxyxyxyxxwherexxyY假设空间(H)：先验概率分布P(ωi)，类条件概率分布P(x|ωi)求判别函数：ωi=h(x)决策自然状态ω1ω2┅ωNα1λ(ω1,α1)λ(ω2,α1)┅λ(ωN,α1)α2λ(ω1,α2)λ(ω2,α2)┅λ(ωN,α2)⁞⁞⁞⁞⁞αNλ(ω1,αN)λ(ω2,αN)┅λ(ωN,αN)12dxxxx是d维随机向量y是随机变量，(xT,y)服从联合概率分布P(x,y)；D是由P(x,y)独立同分部产生的样例集合5.1Bayesian决策论机器学习基础-第五章Bayesian分类器of395|PxBayes最优分类器的核心问题是求取：通常已知若干个样本：ω1类-{x11，x12，┅，x1m1}=D1ω2类-{x21，x22，┅，x2m2}=D2⁞⁞⁞ωN类-{xN1，xc2，┅，xcmc}=DND判别式模型(DiscriminativeModels)：根据训练数据集D直接估计后验概率模型。12N|,|,,|PxPxPx生成式模型(GenerativeModels)：先对联合概率P(x,ω)建模，然后再求取后验概率模型。12N|,|,,|PxPxPx问题：样本空间太大，无法直接根据训练数据直接建立概率模型。例如我们假设属性空间的每个属性都是布尔变量，则样本空间有2d个元素。*()argmin|iYhxRxBayes最优分类器：()()|(|)xRhRhxxERx总体风险：1||NiijjjRxPx决策αi风险：5.1Bayesian决策论机器学习基础-第五章Bayesian分类器of396极大似然估计估计先验概率和类条件概率密度!难点：需要大量样本；当特征向量维数较大时，计算起来比较复杂解决方式：已知参数个数；把类条件概率密度进行参数化参数估计：先假定研究的问题具有某种数学模型，如正态分布，二项分布等，再用已知类别的学习样本估计模型中的参数。最大似然估计：θ是确定的，未知；ln()ln(|)ln(|)ln(|)iiiiiiiiixDxDHlPDPxPx=argmaxln(|)iiixDPx连续属性概率密度函数：(|)(,)iiipxN21=1iiixDiTiiixDixDxxD贝叶斯估计：θ是随机向量，具有先验概率分布>>>朴素贝叶斯分类器5.25.2朴素贝叶斯分类器机器学习基础-第五章Bayesian分类器of39812|=,,,|diiPxPxxx应用贝叶斯决策时主要的困难是贝叶斯公式类条件概率P(x|ωi)的估计。因为其是属性变量的联合概率分布。条件独立性假设：对已知类别，假设所有属性相互独立，即每个属性独立的对分类结果发生影响。1|(|)|diiijiijPPxPPxPxPxPx*1()argmax|idjiijhxPPx朴素贝叶斯分类器的判别准则：已知训练数据集D：ω1类-{x11，x12，┅，x1m1}=D1ω2类-{x21，x22，┅，x2m2}=D2⁞⁞⁞ωN类-{xN1，xc2，┅，xcmc}=DNDiiiDmPDm先验概率分布：5.2朴素贝叶斯分类器机器学习基础-第五章Bayesian分类器of399|jijjiiiiDmPxDm类条件概率分布-离散属性：222|,1|exp22jjjiiijjijijjiipxNxpx类条件概率分布-连续属性：例：数据集-表4.3为训练集，测试下表测试样本的分类结果：*1()argmax|idjiijhxPPx5.2朴素贝叶斯分类器机器学习基础-第五章Bayesian分类器of3910P(好瓜)=8/17=0.471P(坏瓜)=9/17=0.529P(色=青|好)=3/8=0.375P(色=青|坏)=3/9=0.333P(根=卷|好)=5/8=0.625P(根=卷|坏)=3/9=0.333P(敲=浊|好)=6/8=0.75P(敲=浊|坏)=4/9=0.444P(纹=清|好)=7/8=0.875P(纹=清|坏)=2/9=0.222P(脐=凹|好)=5/8=0.625P(脐=凹|坏)=2/9=0.2225.2朴素贝叶斯分类器机器学习基础-第五章Bayesian分类器of3911P(触=硬|好)=6/8=0.75P(触=硬|坏)=6/9=0.66722220.6790.57410.697|exp1.95920.12920.1290.6790...