支持向量回归机 (SVR) 支持向量机（SVM）本身是针对经典的二分类问题提出的，支持向量回归机（Support Vector Regression ，SVR）是支持向量在函数回归领域的应用。SVR与 SVM分类有以下不同：SVR的样本点只有一类，所寻求的最优超平面不是使两类样本点分得“最开”，而是使所有样本点离超平面的“总偏差”最小。这时样本点都在两条边界线之间，求最优回归超平面同样等价于求最大间隔。1. 线性支持向量回归机对于线性情况，支持向量机函数拟合首先考虑用线性回归函数bxxf)(拟合niyxii,...,2,1),,(，niRx为输入量，Ry i为输出量，即需要确定和 b 。图 1-1a SVR 结构图图 1-1b不灵敏度函数惩罚函数是学习模型在学习过程中对误差的一种度量，一般在模型学习前己经选定，不同的学习问题对应的损失函数一般也不同，同一学习问题选取不同的损失函数得到的模型也不一样。标准支持向量机采用- 不灵敏度函数，即假设所有训练数据在精度下用线性函数拟合如图（ 1-1a ）所示，**()()1,2,...,,0iiiiiiiiyf xfxyin（1.1 ）式中，*,ii是松弛因子，当划分有误差时，，*i 都大于 0，误差不存在取0。这时，该问题转化为求优化目标函数最小化问题：niiiCR1**)(21),,(（1.2 ）式（1.2 ）中第一项使拟合函数更为平坦，从而提高泛化能力； 第二项为减小误差； 常数0C表示对超出误差的样本的惩罚程度。求解式（1.1 ）和式（ 1.2 ）可看出，这是一个凸二次优化问题，所以引入Lagrange 函数：*11****111()[()]2[()]()nniiiiiiiinniiiiiiiiiiLCyf xyf x（1.3 ）式中，，0*i，i ，0*i，为 Lagrange 乘数，ni,...,2,1。求函数 L 对， b ，i ，*i 的最小化，对i ，*i ，i ，*i 的最大化，代入Lagrange 函数得到对偶形式，最大化函数：***1,1**111( ,)()()()2()()niijjijijnniiiiiiiWxxy（1.4 ）其约束条件为：*1*()00,niiiiiC（1.5 ）求解式（ 1.4 ）、（1.5 ）式其实也是一个求解二次规划问题，由Kuhn-Tucker 定理，在鞍点处有：****[()]0[()]000iiiiiiiiiiiiyf xyf x（1.6 ）得出0*ii，表明i ，*i 不能同时为零，还可以得出：**()0()0iiiiCC（1.7 ）从式（ 1.7 ）可得出，当Ci，或Ci*时，iiyxf)(可能大于，与其对应的ix 称为边界支持向量 （Boundary Support Vector ，BSV），对应图 1-1a 中虚线带以外的点；当),0(*Ci时，iiyxf)(，即0i，0*i，与其对应的ix 称为支持向量（Support Vector，SV），对应...
