3.3 支持向量回归机 SVM 本身是针对经典的二分类问题提出的,支持向量回归机(Su pport Vector Regression,SVR)是支持向量在函数回归领域的应用。SVR 与SVM 分类有以下不同:SVM 回归的样本点只有一类,所寻求的最优超平面不是使两类样本点分得“最开”,而是使所有样本点离超平面的“总偏差”最小。这时样本点都在两条边界线之间,求最优回归超平面同样等价于求最大间隔。 3.3.1 SVR 基本模型 对于 线 性 情 况 ,支持向量机函数拟 合 首 先 考 虑 用线 性 回归函数bxxf )(拟合niyxii,...,2,1),,(,niRx 为输入量,Ryi 为输出量,即需要确定 和b 。 图3-3a SVR 结构图 图3-3b 不灵敏度函数 惩罚函数是学习模型在学习过程中对误差的一种度量,一般在模型学习前己经选定,不同的学习问题对应的损失函数一般也不同,同一学习问题选取不同的损失函数得到的模型也不一样。常用的惩罚函数形式及密度函数如表 3-1。 表 3-1 常用的损失函数和相应的密度函数 损失函数名称 损失函数表达式 ( )ic 噪声密度()ip -不敏感 i 1ex p()2(1)i 拉普拉斯 i 1 ex p()2i 高斯 212i 21ex p()22i 鲁棒损失 21 ( ) ,if;2,otherwise;2iii 2exp(),2exp(),2iiiifotherwise 多项式 1pip exp()2 (1/)pipp 分段多项式 11,1,piipiifppotherwisep 1exp(),1exp(),piipiifppotherwisep 标准支持向量机采用 -不灵敏度函数,即假设所有训练数据在精度 下用线性函数拟合如图(3-3a)所示, **( )( )1,2,...,,0iiiiiiiiyf xf xyin (3.11) 式中,*,ii 是松弛因子,当划分有误差时, ,*i 都大于0,误差不存在取0。这时,该问题转化为求优化目标函数最小化问题: niiiCR1**)(21),,( (3.12) 式(3.12)中第一项使拟合函数更为平坦,从而提高泛化能力;第二项为减小误差;常数0C表示对超出误差 的样本的惩罚程度。求解式(3.11)和式(3.12)可看出,这是一个凸二次优化问题,所以引入 Lagrange 函数: *11****111()[( )]2[( )]()nniiiiiiiinniiiiiiiiiiLCyf xyf x ...