第9章非参数回归

非参数回归 1 第九章 非参数回归及其相关问题 第一节 参数回归问题的回顾 在线性回归模型中，我们总是假定总体回归函数是线性的，即 多元线性回归模型一般形式为： iKiKiiiXXXY33221 总体回归函数（PRF） KiKiikiiiiXXXXXXYEXm3322132),,,()( 但是，经验和理论都证明，当)(Xm不是线性函数时，基于最小二乘的回归效果不好，非参数回归就是在对)(Xm的形式不作任何假定的前提下研究估计)(X。 例 设二维随机变量，其密度函数为 其它010,10),(yxyxyxf，求)/(xXYE. 解：1021),()(10 xxdyyxfxfx 10)(),()/(dyxfyxfyxXYEx 1021 dyxyxy10)(211dyyxyx)()321(122xmxx 从例可知，)/(xXYE仅与x有关，条件期望)/()(xXYExmy表明Y与X在条件期望的意义下相关。 由样本均值估计总体均值的思想出发，假设样本 ),(11 YX， ),(22 YX，…， ),(nn YX中有相当iX 恰好等于x，( )( / )m xE Y x， 不妨记为 1iX ，2iX，…，kiX， 自然可取相应的Y 的样本 1iY ，2iY ，…，kiY ，用他们的平均数kji jYk11去估计 )/()(XYEXm 非参数回归 2 可是在实际问题中，一般不会有很多iX 的值恰好等于x 。这个估计式，仿佛是一个加权平均数，对于所有的iX ，如果等于x ，则赋予k1的权，如果不等于x ，则赋予零权。 由此可启发我们在思路上产生了一个飞跃。即对于任一个x ，用nYYY,,,21的加权和去估计( )m x，即niiinYWxm1)(ˆ，其中niWi,,2,10 ，， 1iW估计)/()(XYEX 。问题是如何赋权，一种合乎逻辑的方法是，等于x 或靠x 非常近的那些iX ，相应的权大一些，反之小权或零权。 两种模式： 设(, )kX YRR上的随机变量，(,)(1,2,, )iiX Yin为的n 次观测值。实际应用中 ， iniX为非随机的，nYYY,,,21依条件独立，在理论上非参数回归中 iniX既可以是非随机的，也可以是随机的。而参数回归分析中，我们总是假定 iniX为非随机的。 根据 iniX的不同非参数回归有两种模式。 1、 iniX为随机时的非参数回归模型 设(, )kX YRR， ||YE，(,)(1,2,, )iiZ Yin为( , )Yx的随机样本。存在某个未知的实值函数(.)g，使得 (/( )i =iE YXxg x） ni,,2,1 一般记为(/=YE YXx） (/( / )=E YXxyf...