先简单介绍下这门课程,这门课是在著名的MOOC(Massive Online Open Course大型在线公开课)Coursera 上的一门关于机器学习领域的课程,由国立台湾大学的年轻老师林轩田讲授。这门叫做机器学习基石的课程,共8 周的课程为整个机器学习课程的上半部分,更偏重于理论和思想而非算法,主要分为四大部分来讲授。 When can Machine Learn?在何时可以使用机器学习? Why can Machine Learn? 为什么机器可以学习? How can Machine Learn?机器可以怎样学习? How can Machine Learn Better?怎样能使机器学习更好? 每一大块又分为几周来讲授,每周的课时分为两个大课,每个大课一般又分为四个小块来教学,一个小块一般在十分钟到二十分钟之间。 以VC bound (VC 限制)作为总线将整个基础课程贯通讲解了包括PLA(Perceptron learning algorithm 感知器)、pocket、二元分类、线性回归(linear regression)、logistic 回归(logistic regression)等等。 以下不用大课小课来叙述了,写起来感觉怪怪的,就用章节来分别代表大课时和小课时。 一、The learning problem 机器学习问题。 1. Course Introduction 课程简介。 第一小节的内容就是课程简介,如上已进行了详细的介绍,这里就不多赘述。 1.2 What is Machine Learning 什么是机器学习? 在搞清这个问题之前,先要搞清什么是学习。 学习可以是人或者动物通过观 察 思考 获 得 一定 的技 巧 过程。 而机器学习与 之类似 ,是计 算机通过数 据 和计 算获 得 一定 技 巧 的过程。 注意这一对比,学习是通过观察而机器学习是通过数据(是计算机的一种观察)。 对比图如图1-1。(本笔记的图和公式如不加说明皆是出自林老师的课件,下文不会对此在做说明) 图1-1 学习与机器学习对比图 a)学习 b)机器学习 那么紧接着就是要解决上述中出现的一个新的名词"技巧"(skill)。 什么是技巧呢?技巧是一些能力表现的更加出色。 机器学习中的技巧如预测(prediction)、识别(recognition)。 来一个例子:从股票的数据中获得收益增多的这种技巧,这就是一种机器学习的例子。 那既然人也可以通过观察获得一个技巧,为什么还需要机器学习呢? 这就是为什么需要机器学习,简单来说,就是两大原因: 一些数据或者信息,人来无法获取,可能是一些人无法识别的事物,或是数据信息量特别大; 另一个原因是人的处理满足不了...