机器学习简明原理VIP免费

机器学习简明原理说明：本文整理自IBM大数据学习文档，原文作者：韩笑琳1.关于机器学习的简介机器学习是从大量数据中学习出特定规律的算法。其中提到的规律有很多种，比如分类、聚类、回归、关联分析等。分类就是给定大量带标签的数据，计算出未知标签样本的标签取值。如年龄40岁以上、工科、研究生以上学历，这类人薪资水平是高收入；年龄20-30岁、文科、大专学历，这类人的薪资水平是低收入；现有一位23岁大专文科人士，求该人的薪资水平是哪类？根据分类建模，就可以知道这个人的薪资水平很可能是低收入。聚类是将大量不带标签的数据根据距离聚集成不同的簇，每一簇数据有共同的特征。如电信行业可以根据用户的月长途电话分钟数、上网时长、短信使用数、地理位置、月消费数，将所有用户聚集成有典型特征的簇，聚集出的某簇特征可能是月长途电话分钟数长、上网时间长、地理位置变化不大、月消费数目低，分析可得这类人极有可能是在校大学生，那么电信公司就可以针对这类特定人群制定有针对性的营销策略。回归是根据特征值、目标变量拟合出特征值与目标变量之间的函数关系，可用来估计特征值对应的目标变量的可能取值。举个简单的例子，某市今年某100平米的房子价格是80万，某150平米房子价格是120万，那么某200平米的房子价格的取值就可能是200*0.8=160万左右。关联分析是计算出大量数据之间的频繁项集合。如超市订单中有大量订单同时包含啤酒与尿布，这其中的频繁项就是啤酒和尿布，那么超市就可以针对这个规律对啤酒和尿布进行组合促销活动。分类算法主要包括K近邻、决策树、朴素贝叶斯、逻辑回归、支持向量机、AdaBoost等；回归主要包括线性回归、岭回归、lasso、树回归等；聚类主要包括K-Means以及它的各种变形算法；关联分析主要包括Apriori、FP-growth等算法。支持向量机即supportvectormachine(简称SVM)，是机器学习领域经典的分类算法。2.关于SVM的简介支持向量是距离分类超平面近的那些点，SVM的思想就是使得支持向量到分类超平面的间隔最大化。出发点很容易理解，距离分类超平面近的那些点到该超平面的间隔最大化代表了该超平面对两类数据的区分度强，不容易出现错分的情况。如图1所示，支持向量到超平面1的间隔大于支持向量到超平面2的间隔，因此超平面1优于超平面2。图1两个超平面示例SVM可以很好得解决二分类问题，对于多分类情况，就需要对模型进行改动。如one-versus-rest法，这种方法每次选择一个类别作为正样本，剩下其他类别作为负样本，假设一共有3个类别，这样相当于训练出了3个不同的SVM。然后将测试数据分别带入3个SVM模型中，得到的3个结果中的最大值则为最终的分类结果。支持向量到分类超平面的间隔最大化的思路很完美，按这种思路得到的模型理论上是准确度最高的一种模型。但是使用过SVM的朋友都知道，调用SVM算法的测试准确度并不一定都很高。这其中有很多原因，比如数据预处理的效果、训练集的大小、特征值的选择、参数设置以及核函数的选择等因素。任何模型都是优点与缺点并存的。SVM的优点是：1.可以解决线性不可分的情况。如图2所示，两类数据点根本无法用超平面分隔开;2.计算复杂度仅取决于少量支持向量，对于数据量大的数据集计算复杂度低。SVM的缺点是：1.经典的SVM算法仅支持二分类，对于多分类问题需要改动模型;2.不支持类别型数据，需在预处理阶段将类别型数据转换成离散型数据。类别型数据即"男"、"女"这类由字符串表示某类信息的数据，需将这类数据转换成离散型数据如1、2。图2线性不可分问题3.SVM基本原理SVM原理分为软间隔最大化、拉格朗日对偶、最优化问题求解、核函数、序列最小优化SMO等部分。虽然这些名词看起来很晦涩，但是深入探索后就会发现其中的思想并没有那么复杂。3.1.软间隔最大化SVM的核心思路是最大化支持向量到分隔超平面的间隔。后面所有的推导都是以最大化此间隔为核心思想展开。一般的机器学习问题都是先得到模型的目标函数和约束条件，然后在约束条件下对目标函数求得最优解。因此，我们下面首先需要推导出SVM模型的目标函数和约束条件。既然要最大化间隔，那么回顾下点x到超平面(w,b)的距离公式：其中超平面的公式...