非参数回归简介一、参数回归与非参数回归的特点无论是线性回归还是非线性回归,其回归函数形式都是已知的,只是其中参数待定,所以可称为参数回归。参数回归的最大优点是回归结果可以外延,但其缺点也不可忽视,就是回归形式一旦固定,就比较呆板,往往拟合效果较差。另一类回归,非参数回归,则与参数回归正好相反。它的回归函数形式是不确定的,其结果外延困难,但拟合效果却比较好。参数回归与非参数回归的优缺点比较:参数回归:优点: (1).模型形式简单明确,仅由一些参数表达(eg:y=a+bx+e, a,b 为待估参数) (2).在经济中,模型的参数一般都具有明确的经济含义 (3).当模型参数假设成立,统计推断的精度较高,能经受实际检验 (4).模型能够进行外推运算 (5).模型可以用于小样本的统计推断缺点: (1).回归函数的形式预先假定 (2).模型限制较多:一般要求样本满足某种分布要求,随机误差满足正态假设,解释变量间独立,解释变量与随机误差不相关,等 (3).需要对模型的参数进行严格的检验推断,步骤较多 (4).模型泛化能力弱,缺乏稳健性,当模型假设不成立,拟合效果不好,需要修正或者甚至更换模型非参数回归:优点; (1).回归函数形式自由,受约束少,对数据的分布一般不做任何要求 (2).适应能力强,稳健性高,回归模型完全由数据驱动 (3).模型的精度高(4).对于非线性、非齐次问题,有非常好的效果缺点: (1).不能进行外推运算 (2).估量的收敛速度慢 (3).一般只有在大样本的情况下才能得到很好的效果,而小样本的效果较差 (4).高维诅咒, 光滑参数的选取一般较复杂二、非参数回归的方法简介处理高维的非参数方法:多元局部回归、薄片样条、可加模型、投影寻踪、回归树、量积等。●回归模型:设 Y 为被解释变量,X 为解释变量,当 X 为 维随机变量时,,为的相互独立观测样本。非参数回归模型如下:(1)其中为相互独立 同分布随机变量,满足 期望,方差。是未知的函数,目标是要把估量出来。易知,。●权函数方法非参数回归的基本方法有核函数法,最近邻函数法,局部多项式方法、样条函数法,小波函数法。这些方法尽管起源不一样,数学形式相距甚远,但都可以视为关于 Yi的线性组合的某种权函数。也就是说,回归函数的估量总可以表为下述形式:(2)其中{Wi(X)}称为权函数。这个表达式说明,总是 Yi的线性组合,一个 Yi对应一个 Wi。不过 Wi与 Xi倒没有对应关系,Wi如何生成,也许不仅与 Xi有关,而且可能与全...