机器学习常用模型及优化

第一章模型建立 1 .1 回归模型： 条件： 1. 数据 2. 假设的模型 结果： 用模型对数据学习，预测新数据 1 .1 .1 一元线性回归模型（最小二乘法） 它通过最小化误差的平方和寻找数据的最佳函数匹配 我们以最简单的一元线性模型来解释最小二乘法。什么是一元线性模型呢？监督学习中，如果预测的变量是离散的，我们称其为分类（如决策树，支持向量机等），如果预测的变量是连续的，我们称其为回归 假设从总体中获取了 n组观察值（X1，Y1），（X2，Y2）， …，（Xn，Yn） 平方损失函数 1.1.2 逻辑回归模型 将线性回归中的一次模型变成逻辑回归函数，即sigmoid 函数。 或者： 其他的思路和想法与线性回归一样，所以说逻辑回归的模型是一个非线性模型，但是它本质上又是一个线性回归模型 损失函数（误差函数）为： 1.1.3 softmax 回归 它是逻辑回归的扩展 从分类的角度来说，逻辑回归只能将东西分成两类（0,1），softmax 可以分成多类 逻辑回归中，模型函数（系统函数）为： Softmax 回归中，模型函数（系统函数）为： 1 .2 神经网络模型 1 .2 .1 神经元 首先来一个三输入单输出的神经元，输入输出都是二进制（0,1）。举例来说： X1 表示天气是否好 X2 表示交通是否好 X3 表示是否有女朋友陪你 Y 表示你是否去电影院看电影 要让这个神经元工作起来，需要引入权重，w 1,w 2,w 3。这样就有了： （1） W1 表示”天气是否好”对你做决定的重要程度 W2 表示”交通是否好”对你做决定的重要程度 W3 表示”是否有女朋友陪你”对你做决定的重要程度 Threshold 越低表示你越想去看电影，风雨无阻你都想去。Threshold 越高表示你越不想去看电影，天气再好也白搭。Threshold 适中表示你去不去电影院要看情况，看心情。 1 .2 .2 神经网络 现在扩展一下： 这样就出现神经网络了，可以看出这是很多神经元组合成的。 把上面的（1）式中的threshold 用偏移量-b 表示，并且移到不等式左边，出现下面（2）式： （2） 例子就不举了，原文是实现与非门的一个例子，说明这个东西可以进行逻辑推理，它就很有潜力了，电脑就是靠逻辑加运算来实现各种功能。 现在要用这个东西学习识别手写字体，我们的想法是这样的： 举例来说，电脑错把9 当成了8，那么我们希望通过自动调整w 或b 来对output 进行调整，以达到正确的结果。这时网络会自己“学习”了。 具体是这样的： 1 if (w +b)0.50 ...