KernelMethod核回归核方法VIP专享VIP免费

1今天内容核回归核方法Kerneltrick正则化理论2非参数回归参数回归（线性回归）时，假设r(x)为线性的。当r(x)不是x的线性函数时，基于最小二乘的回归效果不佳非参数回归：不对r(x)的形式做任何假定参考核密度估计局部加权方法：用点x附近的Yi的加权平均表示r(x)权重为核函数的值，邻域由核函数的宽度控制3核回归：Nadaraya-Watson回忆一下回归方程的定义：分别对用核密度估计，得到11,ˆ,nhiiinhjjKxxyrxKxx||,,,rxYXxyfyxdyyfxydyyfxydyfxfxydyE,,fxfxy4核回归：Nadaraya-Watson证明：1211ˆ,,,nhihiifxyKxxKyyn1211ˆ,,,nhihiiyfxydyKxxyKyydyn11221,nihiiyyyKxxKdynhh1211,nhiiiKxxshyKsdsn111,nhiiiKxxyn1,0K(x)dxxK(x)dx5核回归：Nadaraya-Watson证明（续）,fxyydyrxfx11111111111,,,ˆ1,,,nnnhiihiihiiiiinnnhjhjhjjjjKxxyKxxyKxxynrxKxxKxxKxxn6核回归：Nadaraya-Watson这可以被看作是对y取一个加权平均，对x附近的值给予更高的权重：其中1,,hiinhjjKxxwxKxx1ˆniiirxwxy7核回归：Nadaraya-Watson将核回归估计写成如下形式：其中，ˆˆˆhhgxrxfx11ˆ,nhhiiigxKxxyn11ˆ,nhhiifxKxxn11ˆ,nhhiiigxKxxynEE,hiiKxxyE,|hKxuyfyufudydu,|hKxufuyfyudydu,hKxuguduru8核回归：Nadaraya-Watson类似核密度估计中求期望的展开，得到同理，其中222ˆ''2hhgxgxgxxKxdxE221ˆhgxxKxdxnhV2ixV9核回归：Nadaraya-Watson最后，得到估计的风险为最佳带宽以的速率减少，在这种选择下风险以的速率减少，这是最佳收敛速率（同核密度估计）15n45n44221ˆ,24nfxRrrhxKxdxrxrxdxfx22Kxdxdxnhfx10核回归：Nadaraya-Watson实际应用中，利用交叉验证对求最佳带宽h。交叉验证对风险的估计为实际上不必每次留下一个计算单独估计，可以写成以下形式21ˆˆniiiiJhYrx22111ˆˆ01niiinijjJhYrxKxxKh11例：Example20.23不同带宽下Nadaraya-Watson回归的结果12核回归：Nadaraya-Watson模型类型：非参数损失：平方误差参数选择：留一交叉验证13局部线性回归问题：加权核回归在训练数据中靠近边界的点的估计很差核在边界区域不对称，局部加权平均在边界区域上出现严重偏差局部线性回归局部线性回归：在每一个将要被预测的点x处解一个单独的加权最小二乘问题，找到使下述表达式最小的21,nhiiiiKxxyxxx14局部线性回归边界上的N-W核：核在边界不对称偏差大边界上的局部线性回归：将偏差降至一阶蓝色曲线：真实情况绿色曲线：估计值黄色区域：x0的局部区域sin,~0,1,~0,13YXXUniformN15核回归：局部线性回归则估计为：其中W(x)是一个的对角矩阵且第i个对角元素是估计在yi上是线性的，因为权重项wi(x)不涉及yi，可被认为是等价核nnˆˆrxxx1TTTxxxXWXXWy1niiiwxy,hiKxx16局部线性回归局部线性回归通过自动修改核，将偏差降至一阶由于,偏差为2000001ˆ2niiirxrxrxxxwxE001ˆniiirxwxrxE0000011nniiiiirxwxrxxxwx200012niiirxxxwx2000002iiirxrxrxrxxxxx...