机器学习十大算法之一

机器学习十大算法之一：EM 算法。 一、最大似然 假设我们需要调查我们学校的男生和女生的身高分布。你怎么做啊？你说那么多人不可能一个一个去问吧，肯定是抽样了。假设你在校园里随便地活捉了 100 个男生和 100 个女生。他们共 200 个人（也就是 200个身高的样本数据，为了方便表示，下面，我说“人”的意思就是对应的身高）都在教室里面了。那下一步怎么办啊？你开始喊：“男的左边，女的右边，其他的站中间！”。然后你就先统计抽样得到的 100 个男生的身高。假设他们的身高是服从高斯分布的。但是这个分布的均值 u 和方差∂2 我们不知道，这两个参数就是我们要估计的。记作 θ=*u, ∂+T。 用数学的语言来说就是：在学校那么多男生（身高）中，我们独立地按照概率密度 p(x|θ)抽取 100 了个（身高），组成样本集 X，我们想通过样本集 X 来估计出未知参数 θ。这里概率密度 p(x|θ)我们知道了是高斯分布 N(u,∂)的形式，其中的未知参数是 θ=*u, ∂+T。抽到的样本集是X={x1,x2,…,xN}，其中 xi 表示抽到的第 i 个人的身高，这里 N 就是 100，表示抽到的样本个数。 由于每个样本都是独立地从 p(x|θ)中抽取的，换句话说这 100 个男生中的任何一个，都是我随便捉的，从我的角度来看这些男生之间是没有关系的。那么，我从学校那么多男生中为什么就恰好抽到了这 100 个人呢？抽到这 100 个人的概率是多少呢？因为这些男生（的身高）是服从同一个高斯分布 p(x|θ)的。那么我抽到男生 A（的身高）的概率是p(xA|θ)，抽到男生 B 的概率是 p(xB|θ)，那因为他们是独立的，所以很明显，我同时抽到男生 A 和男生 B 的概率是 p(xA|θ)* p(xB|θ)，同理，我同时抽到这 100 个男生的概率就是他们各自概率的乘积了。用数学家的口吻说就是从分布是 p(x|θ)的总体样本中抽取到这 100 个样本的概率，也就是样本集 X 中各个样本的联合概率，用下式表示： 这个概率反映了，在概率密度函数的参数是 θ时，得到 X 这组样本的概率。因为这里 X 是已知的，也就是说我抽取到的这 100 个人的身高可以测出来，也就是已知的了。而 θ是未知了，则上面这个公式只有 θ是未知数，所以它是 θ的函数。这个函数放映的是在不同的参数 θ取值下，取得当前这个样本集的可能性，因此称为参数 θ相对于样本集 X 的似然函数（likehood function）。记为 L(θ)。 这里出现了一个概念，似然函数。还记...