非参数回归简介一、参数回归与非参数回归的特点无论是线性回归还是非线性回归,其回归函数形式都是已知的,只是其中参数待定,所以可称为参数回归
参数回归的最大优点是回归结果可以外延,但其缺点也不可忽视,就是回归形式一旦固定,就比较呆板,往往拟合效果较差
另一类回归,非参数回归,则与参数回归正好相反
它的回归函数形式是不确定的,其结果外延困难,但拟合效果却比较好
参数回归与非参数回归的优缺点比较:参数回归:优点: (1)
模型形式简单明确,仅由一些参数表达(eg:y=a+bx+e, a,b 为待估参数) (2)
在经济中,模型的参数一般都具有明确的经济含义 (3)
当模型参数假设成立,统计推断的精度较高,能经受实际检验 (4)
模型能够进行外推运算 (5)
模型可以用于小样本的统计推断缺点: (1)
回归函数的形式预先假定 (2)
模型限制较多:一般要求样本满足某种分布要求,随机误差满足正态假设,解释变量间独立,解释变量与随机误差不相关,等 (3)
需要对模型的参数进行严格的检验推断,步骤较多 (4)
模型泛化能力弱,缺乏稳健性,当模型假设不成立,拟合效果不好,需要修正或者甚至更换模型非参数回归:优点; (1)
回归函数形式自由,受约束少,对数据的分布一般不做任何要求 (2)
适应能力强,稳健性高,回归模型完全由数据驱动 (3)
模型的精度高(4)
对于非线性、非齐次问题,有非常好的效果缺点: (1)
不能进行外推运算 (2)
估量的收敛速度慢 (3)
一般只有在大样本的情况下才能得到很好的效果,而小样本的效果较差 (4)
高维诅咒, 光滑参数的选取一般较复杂二、非参数回归的方法简介处理高维的非参数方法:多元局部回归、薄片样条、可加模型、投影寻踪、回归树、量积等
●回归模型:设 Y 为被解释变量,X 为解释变量,当 X 为 维随机变量时,,为的相互独立观测样本
非参数回归模型如下: