电脑桌面
添加小米粒文库到电脑桌面
安装后可以在桌面快捷访问

经典的PCA和LDA算法介绍VIP免费

经典的PCA和LDA算法介绍_第1页
1/7
经典的PCA和LDA算法介绍_第2页
2/7
经典的PCA和LDA算法介绍_第3页
3/7
LDA: LDA 的全称是Linear Discriminant Analy sis(线性判别分析),是一种supervised learning。有些资料上也称为是Fisher’s Linear Discriminant,因为它被Ronald Fisher 发明自1936 年,Discriminant 这次词我个人的理解是,一个模型,不需要去通过概率的方法来训练、预测数据,比如说各种贝叶斯方法,就需要获取数据的先验、后验概率等等。LDA是在目前机器学习、数据挖掘领域经典且热门的一个算法,据我所知,百度的商务搜索部里面就用了不少这方面的算法。 LDA 的原理是,将带上标签的数据(点),通过投影的方法,投影到维度更低的空间中,使得投影后的点,会形成按类别区分,一簇一簇的情况,相同类别的点,将会在投影后的空间中更接近。要说明白 LDA,首先得弄明白线性分类器(Linear Classifier):因为LDA 是一种线性分类器。对于 K-分类的一个分类问题,会有K 个线性函数: 当满足条件:对于所有的j,都有Yk > Yj,的时候,我们就说 x 属于类别k。对于每一个分类,都有一个公式去算一个分值,在所有的公式得到的分值中,找一个最大的,就是所属的分类了。 上式实际上就是一种投影,是将一个高维的点投影到一条高维的直线上,LDA 最求的目标是,给出一个标注了类别的数据集,投影到了一条直线之后,能够使得点尽量的按类别区分开,当 k=2 即二分类问题的时候,如下图所示: 红色的方形的点为0 类的原始点、蓝色的方形点为1 类的原始点,经过原点的那条线就是投影的直线,从图上可以清楚的看到,红色的点和蓝色的点被原点明显的分开了,这个数据只是随便画的,如果在高维的情况下,看起来会更好一点。下面我来推导一下二分类 LDA问题的公式: 假设用来区分二分类的直线(投影函数)为: LDA 分类的一个目标是使得不同类别之间的距离越远越好,同一类别之中的距离越近越好,所以我们需要定义几个关键的值。 类别 i 的原始中心点为:(Di 表示属于类别 i 的点) 类别 i 投影后的中心点为: 衡量类别 i 投影后,类别点之间的分散程度(方差)为: 最终我们可以得到一个下面的公式,表示 LDA 投影到 w后的损失函数: 我们分类的目标是,使得类别内的点距离越近越好(集中),类别间的点越远越好。分母表示每一个类别内的方差之和,方差越大表示一个类别内的点越分散,分子为两个类别各自的中心点的距离的平方,我们最大化 J(w)就可以求出最优的w了。想要求出最优的w,可以使用拉格朗日乘子...

1、当您付费下载文档后,您只拥有了使用权限,并不意味着购买了版权,文档只能用于自身使用,不得用于其他商业用途(如 [转卖]进行直接盈利或[编辑后售卖]进行间接盈利)。
2、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。
3、如文档内容存在违规,或者侵犯商业秘密、侵犯著作权等,请点击“违规举报”。

碎片内容

经典的PCA和LDA算法介绍

确认删除?
VIP
微信客服
  • 扫码咨询
会员Q群
  • 会员专属群点击这里加入QQ群
客服邮箱
回到顶部