数据挖掘与知识发现(讲稿11---贝叶斯网络)VIP免费

第1页共6页编号：时间：2021年x月x日书山有路勤为径，学海无涯苦作舟页码：第1页共6页第11章贝叶斯网络贝叶斯网络是1986年由Pearl提出的，根据各个变量之间的概率关系，使用图论方法表示变量集合的联合概率分布的图形模型。它提供了一种自然的表示因果信息的方法，用来发现数据间的潜在关系。在这个网络中，用节点表示变量，有向边表示变量间的依赖关系。其特点有：贝叶斯理论给出了信任函数在数学上的计算方法，具有稳固的数学基础，同时刻画了信任度与证据的一致性以及信任度随证据而变化的增量学习特性；在数据挖掘中，贝叶斯网络可以处理不完整和带有噪声的数据集，它用概率测度的权重来描述数据间的相关性，从而解决了数据间的不一致性，甚至是相互独立的问题；用图形的方法描述数据间的相互关系，语义清晰、可理解性强，这有助于利用数据间的因果关系进行预测分析；11.1贝叶斯方法的基本观点贝叶斯分析方法的特点是使用概率去表示所有形式的不确定性。学习或其他形式的推理都是用概率规则来实现的。贝叶斯学习的结果表示为随机变量的概率分布，它可以解释为我们对不同可能性的信任程度。贝叶斯学派的起点是贝叶斯的两项工作：贝叶斯定理和贝叶斯假设。假设随机变量x,θ的联合分布密度是p(x,θ)，它们的边际密度分别为p(x),p(θ)。设x是观测向量，θ是末知参数向量，则可通过观测向量来获得末知参数向量的估计。贝叶斯定理为：p(θ|x)=π(θ)×p(x|θ)p(x)=π(θ)×p(x|θ)∫π(θ)×p(x|θ)dθ这里，π(θ)是θ的先验分布。上式可以看出，对末知参数向量θ的估计综合了它的先验信息和样第2页共6页第1页共6页编号：时间：2021年x月x日书山有路勤为径，学海无涯苦作舟页码：第2页共6页本信息。而传统的参数估计方法只从样本数据获取信息，如最大似然估计。Bayesian方法对末知参数向量估计的一般过程为：将末知参数看成是随机变量；根据以往末知参数θ的知识，确定先验分布π(θ)；计算后验分布密度，做出对末知参数的推断。贝叶斯假设：如果没有任何以往的知识来帮助确定π(θ)，贝叶斯提出可以采用均匀分布作为其分布，即参数在它的变化范围内，取到各个值的机会是相同的。11.2贝叶斯网络的构造原理定义：贝叶斯网络是一个二元组B=，其中①网络结构G=是一个有向无环图，V={V1,V2,⋯,Vn}为结点集；A为弧的集合；②网络参数P中的每一个元素代表结点Vi的条件概率密度；则由概率的链规则得P(V)=P(V1,V2,⋯,Vn)=∐i=1nP(Vi|V1,V2,⋯,Vi−1)对于n个离散二值随机变量，要确定它们的联合分布，需要给出2n−1个概率值。这当n较大时，巨大的存储要求往往难以满足。因此，一定的假设独立性是必要的。随机变量间的假设独立性原则使得贝叶斯网络所需定义的先验概率大为减少。联合概率分布由随机变量各自的分布的乘积所唯一确定。对于网络结构中的任一结点Vi，必可找到一个与Vi条件都不独立的最小子集Ui⊆{V1,V2,⋯,Vi−1}，使得P(V)=P(V1,V2,⋯,Vn)=∐i=1nP(Vi|Ui)贝叶斯网络是一种用图表示知识的方法，并且是可以计算的概率模第3页共6页第2页共6页编号：时间：2021年x月x日书山有路勤为径，学海无涯苦作舟页码：第3页共6页型。通过这种网络，可以综合各种来源的数据，并对这些数据进行综合和推理。给定一个联合概率分布P(X1,X2,⋯,Xn)以及变量的一个排序d。将X1作为根结点开始，并赋予X1以先验概率分布P(X1)，然后用一结点表示X2，如果X2与X1有关，则从X1到X2建立一联结，并用P(X2|X1)表示联结强度。如果X2与X1无关，则赋予X2以先验概率分布P(X2)。在第i级从Xi的父结点集合∏¿Xi¿，（∏¿Xi⊆¿¿¿），画一组方向线联结到Xi，并用P(Xi|∏¿Xi)¿条件概率定量表示，结果可以得到一个有向非循环图，可用于表示P(X1,X2,⋯,Xn)中所体现的许多独立关系，该图就称作贝叶斯网络。反过来，P(Xi|∏¿Xi)¿包含有重构原始分布函数所必需的所有信息，在排序d下，有如下关系：P(X1,X2,⋯,Xn)=P(Xn|Xn−1,Xn−2,⋯,X1)⋅P(Xn−1|Xn−2,⋯,X1)⋯P(X3|X1,X2)⋅P(X2|X1)P(X1)=∏iP(Xi|∏¿Xi)¿[例如]下图是一个典型的贝叶斯网络，它的联合概率分布函数为P(X1,X2,X3,X4,X5,X6)=...