则洒过。最小确定这条为空耙它心百作是。的函数.第一章模型建立1。1回归模型：条件：1.数据2.假设的模型结果：用模型对数据学习，预测新数据1。1・1一元线性回归模型（最小二乘法）它通过最小化误差的平方和寻找数据的最佳函数匹配我们以最简单的一元线性模型来解释最小二乘法。什么是一元线性模型呢？监督学习中，如果预测的变量是离散的，我们称其为分类（如决策树，支持向量机等），如果预测的变量是连续的，我们称其为回归假设从总体中获取了n组观察值（XI，Y1）,（X2，Y2），…，（Xn，Yn）平方损失函数Q=ix二壬％—亦=3-1]=1E卡求极值的问题.町以邇过求导数得到-求口时两个待估参数的倔导数:=2空（X-州-厲扎）卜1）=03F-1=2工厲-几-几心（-可三。2-1/1+E_fJ{0]=——m卷捐垃学.讪说我包知追•临鮭的极低曲为丘导为0旳点“aQ_2＞返＞；-S＞,工曲厂“工忙-（工X,1・1・2逻辑回归模型将线性回归中的一次模型变成逻辑回归函数即sigmoid函数。或者:加囱1十esp（-严①）其他的思路和想法与线性回归一样，所以说逻辑回归的模型是一个非线性模型，但是它本质上又是一个线性回归模型损失函数（误差函数）为：m刀泸logfe(^)I(1-^)log(l-賦为(0))i-11。1。3softmax回归它是逻辑回归的扩展从分类的角度来说，逻辑回归只能将东西分成两类（0,1）,softmax可以分成逻辑回归中，模型函数（系统函数）为:加何=1+Exp(—0%)Softmax回归中，模型函数（系统函数）为:output=0if工了呵叼threshold（加卅）=1肋=2卅;':&）1J?（庐）=制H何;目）EL存1。2神经网络模型1.2.1神经元首先来一个三输入单输出的神经元，输入输出都是二进制（0,1）.举例来说:XI表示天气是否好X2表示交通是否好X3表示是否有女朋友陪你Y表示你是否去电影院看电影要让这个神经元工作起来，需要引入权重，w1,w2，w3。这样就有了：W1表示”天气是否好”对你做决定的重要程度W2表示”交通是否好"对你做决定的重要程度W3表示”是否有女朋友陪你”对你做决定的重要程度Threshold越低表示你越想去看电影,风雨无阻你都想去.Threshold越高表示你越不想去看电影，天气再好也白搭.Threshold适中表示你去不去电影院要看情况，看心情。1・2・2神经网络现在扩展一下:血卩Lil•囲■*uutpilt这样就出现神经网络了，可以看出这是很多神经元组合成的。把上面的(1)式中的threshold用偏移量-b表示，并且移到不等式左边，出现F面(2)式:11这个函数越小越好，所以通过使这个函数变得最小来得到最好的w和b，也就是达到最好的学习效果。1。3最大似然估计X的一个样本XI,X2,...,Xn独立同分布，其观测值为xl,x2,...,xn。P(X=x)=p(x;0)，其中参数0未知根据Xl，X2,…，Xn的观测值xl，x2,...,xn来估计模型参数0。假如这组数据服从B(1,p),p未知P(X=x)=px(1-p)1-x(x=0,1)另(1-x.)L(p)=P(X=x，…，X=x)=pxi+…+x”(1-p)聞'11nnd求—inL(p)=0得到L(p)取极大值时的p,即为所求dp第二章模型优化2・1遗传算法有个博客讲的很好，用袋鼠跳问题形象的比喻这个问题，类似的算法还有模拟退火法.2。2梯度下降法一句话来说就是求损失函数或似然函数的极值,我们自己算的话就是求个导就完事了，但是有些函数的导数特别难求，这时候就需要梯度下降法，交给电脑迭代几次就算出来了举例来说，求损失函数的最小值：丿⑹(毎理AhY-匸iniinh(x)==久寺E"Ax2。3牛顿法对于非线性优化，假设任务是优化一个目标函数,求解其极大极小值，转化为求问题，是不是回到了上面的问题？二阶泰勒级数：f(x+Ax)二f(x)+f'(x)Ax+2f"(x)Ax2二阶泰勒级数成立的充要条件是心无限趋于0,两边约去f(x+Ax)和f(x),并对Ax求导,得到：f'(x)+f"(x)Ax=0解得:f，(x)n—f〃(x)n所以得到迭代式:f，(x)n—f〃(x)n红色是牛顿法，绿色是梯度下降法，牛顿法更容易收敛。高维情况的牛顿迭代公式：x二x-[(x)]-1Vf(x),n>0n+1nnnn+1n其中，H是hessian矩阵:Hessian矩阵的引入使得高维情况下牛顿法较为少用，但是有人已提出解决方案Quasi一Newtonmethodo如-巴
