数据挖掘与知识发现讲稿 主讲：刘以安 ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ 装 ┊ ┊ ┊ ┊ ┊ 订 ┊ ┊ ┊ ┊ ┊ 线 ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ 1 第 1 1 章 贝叶斯网络 贝叶斯网络是 1986 年由 Pearl 提出的，根据各个变量之间的概率关系，使用图论方法表示变量集合的联合概率分布的图形模型。它提供了一种自然的表示因果信息的方法，用来发现数据间的潜在关系。 在这个网络中，用节点表示变量，有向边表示变量间的依赖关系。其特点有： 贝叶斯理论给出了信任函数在数学上的计算方法，具有稳固的数学基础，同时刻画了信任度与证据的一致性以及信任度随证据而变化的增量学习特性； 在数据挖掘中，贝叶斯网络可以处理不完整和带有噪声的数据集，它用概率测度的权重来描述数据间的相关性，从而解决了数据间的不一致性，甚至是相互独立的问题； 用图形的方法描述数据间的相互关系，语义清晰、可理解性强，这有助于利用数据间的因果关系进行预测分析； 1 1 .1 贝叶斯方法的基本观点 贝叶斯分析方法的特点是使用概率去表示所有形式的不确定性。学习或其他形式的推理都是用概率规则来实现的。贝叶斯学习的结果表示为随机变量的概率分布，它可以解释为我们对不同可能性的信任程度。贝叶斯学派的起点是贝叶斯的两项工作：贝叶斯定理和贝叶斯假设。 假设随机变量,x的联合分布密度是),( xp，它们的边际密度分别为)(),(pxp。设 x是观测向量， 是末知参数向量，则可通过观测向量来获得末知参数向量的估计。贝叶斯定理为： dxpxpxpxpxp)|()()|()()()|()()|( 数据挖掘与知识发现讲稿 主讲：刘以安 ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ 装 ┊ ┊ ┊ ┊ ┊ 订 ┊ ┊ ┊ ┊ ┊ 线 ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ 2 这里，)(是 的先验分布。 上式可以看出，对末知参数向量 的估计综合了它的先验信息和样本信息。而传统的参数估计方法只从样本数据获取信息，如最大似然估计。 Bayesian 方法对末知参数向量估计的一般过程为： 将末知参数看成是随机变量； 根据以往末知参数 的知识，确定先验分布)(； 计算后验分布密度，做出对末知参数的推断。 贝叶斯假设：如果没有任何以往的知识来帮助确定)(，贝叶斯提出可以采用...
