25/1/1史忠植高级人工智能1高级人工智能第六章概率推理史忠植中国科学院计算技术所4.1概述4.2贝叶斯概率基础4.3贝叶斯学习理论4.4简单贝叶斯学习模型4.5贝叶斯网络的建造4.6主动贝叶斯网络4.7贝叶斯潜在语义模型4.8贝叶斯网络的证据推理内容提要25/1/1史忠植高级人工智能3贝叶斯网络是什么贝叶斯网络是用来表示变量间连接概率的图形模式，它提供了一种自然的表示因果信息的方法，用来发现数据间的潜在关系。在这个网络中，用节点表示变量，有向边表示变量间的依赖关系。贝叶斯方法正在以其独特的不确定性知识表达形式、丰富的概率表达能力、综合先验知识的增量学习特性等成为当前数据挖掘众多方法中最为引人注目的焦点之一。25/1/1史忠植高级人工智能4贝叶斯网络是什么贝叶斯（ReverendThomasBayes1702-1761）学派奠基性的工作是贝叶斯的论文“关于几率性问题求解的评论”。或许是他自己感觉到它的学说还有不完善的地方，这一论文在他生前并没有发表，而是在他死后，由他的朋友发表的。著名的数学家拉普拉斯（LaplaceP.S.）用贝叶斯的方法导出了重要的“相继律”，贝叶斯的方法和理论逐渐被人理解和重视起来。但由于当时贝叶斯方法在理论和实际应用中还存在很多不完善的地方，因而在十九世纪并未被普遍接受。25/1/1史忠植高级人工智能5贝叶斯网络是什么二十世纪初，意大利的菲纳特（B.deFinetti）以及英国的杰弗莱（JeffreysH.）都对贝叶斯学派的理论作出重要的贡献。第二次世界大战后，瓦尔德（WaldA.）提出了统计的决策理论，在这一理论中，贝叶斯解占有重要的地位；信息论的发展也对贝叶斯学派做出了新的贡献。1958年英国最悠久的统计杂志Biometrika全文重新刊登了贝叶斯的论文，20世纪50年代，以罗宾斯（RobbinsH.）为代表，提出了经验贝叶斯方法和经典方法相结合，引起统计界的广泛注意，这一方法很快就显示出它的优点，成为很活跃的一个方向。25/1/1史忠植高级人工智能6贝叶斯网络是什么随着人工智能的发展，尤其是机器学习、数据挖掘等兴起，为贝叶斯理论的发展和应用提供了更为广阔的空间。贝叶斯理论的内涵也比以前有了很大的变化。80年代贝叶斯网络用于专家系统的知识表示，90年代进一步研究可学习的贝叶斯网络，用于数据采掘和机器学习。近年来，贝叶斯学习理论方面的文章更是层出不穷，内容涵盖了人工智能的大部分领域，包括因果推理、不确定性知识表达、模式识别和聚类分析等。并且出现了专门研究贝叶斯理论的组织和学术刊物ISBA25/1/1史忠植高级人工智能7贝叶斯网络的应用领域辅助智能决策数据融合模式识别医疗诊断文本理解数据挖掘25/1/1史忠植高级人工智能8统计概率统计概率:若在大量重复试验中，事件A发生的频率稳定地接近于一个固定的常数p，它表明事件A出现的可能性大小，则称此常数p为事件A发生的概率，记为P(A),即p＝P(A)可见概率就是频率的稳定中心。任何事件A的概率为不大于1的非负实数，即0＜P(A)＜125/1/1史忠植高级人工智能9条件概率条件概率:我们把事件B已经出现的条件下，事件A发生的概率记做为P(A|B)。并称之为在B出现的条件下A出现的条件概率，而称P(A)为无条件概率。若事件A与B中的任一个出现，并不影响另一事件出现的概率，即当P(A)＝P(A·B)或P(B)＝P(B·A)时，则称A与B是相互独立的事件。25/1/1史忠植高级人工智能10加法定理两个不相容(互斥)事件之和的概率,等于两个事件概率之和,即P(A+B)＝P(A)＋P(B)若A、B为两任意事件，则：P(A+B)＝P(A)＋P(B)－P(AB)25/1/1史忠植高级人工智能11乘法定理设A、B为两个任意的非零事件，则其乘积的概率等于A(或B)的概率与在A(或B)出现的条件下B(或A)出现的条件概率的乘积。P(A·B)＝P(A)·P(B|A)或P(A·B)＝P(B)·P(A|B)25/1/1史忠植高级人工智能12贝叶斯网络定义贝叶斯网络是表示变量间概率依赖关系的有向无环图，这里每个节点表示领域变量，每条边表示变量间的概率依赖关系，同时对每个节点都对应着一个条件概率分布表(CPT)，指明了该变量与父节点之间概率依赖的数量关系。25/1/1史忠植高级人工智能13贝叶斯网的表示方法=P(A)P(S)P(T|A)P(L|S)P(B|S)P(C|T,L)P(D|T,L,B)P(A,S,T,L,B,C,D...
