多元的线性回归VIP免费

实用标准文案精彩文档多元线性回归模型一、多元线性回归模型的一般形式设随机变量y与一般变量pxxx,,,21的线性回归模型为：ppxxxy22110写成矩阵形式为：Xy其中：nyyyy21npnnppxxxxxxxxxX212222111211111p10n21二、多元线性回归模型的基本假定1、解释变量pxxx,,,21是确定性变量，不是随机变量，且要求npXrank1)(。这里的npXrank1)(表明设计矩阵X中自变量列之间不相关，样本容量的个数应大于解释变量的个数，X是一满秩矩阵。2、随机误差项具有0均值和等方差，即：),,2,1,(,,0,),cov(,,2,1,0)(2njijijiniEjii0)(iE，即假设观测值没有系统误差，随机误差i的平均值为0，随机误差i的协方差为0表明随机误差项在不同的样本点之间是不相关的（在正态假定下即为独立），不存在序列相关，并且具有相同的精度。3、正态分布的假定条件为：相互独立niniN,,,,2,1),,0(~212，矩阵表示：),0(~2nIN,由该假定和多元正态分布的性质可知，随机变量y服从n维正态分布，回归模型的期望向量为：XyE)(；nIy2)var(因此有),(~2nIXNy三、多元线性回归方程的解释对于一般情况含有p个自变量的回归方程ppxxxyE22110)(的解释，每个回归系数i表示在回归方程中其他自变量保持不变的情况下，自变量ix每增加一个单位时因变量y的平均增加程度。因此通常把多元线性回归的回归系数称为偏回归系数。下面看个例子，考虑国内生产总值GDP和三次产业增加值的关系，这个问题中GDP=321xxx是确定性的函数关系，可以看作误差项为实用标准文案精彩文档0的特殊回归关系。3个回归系数都是1，对2解释为第二产业增加值2x每增加1亿元GDP也增加1亿元。假设做GDP对2x的一元线性回归，得到回归方程为28554.19.5289?xy，对这个方程回归系数的解释是第二产业增加值每增加1亿元GDP增加1.8554亿元。两个回归方程对同样的经济现象给出了不同的解释，问题出在什么地方呢？多元回归系数表示在回归方程中其他自变量保持不变的情况下，相应自变量每增加一个单位时因变量的平均增加速度。因此在用多元回归方程GDP=321xxx解释2=1时，一定要强调是在1x和3x保持不变的情况下，2x每增加1亿元GDP也增加1亿元。在用一元回归方程28554.19.5289?xy解释回归系数时，要强调的是在方程之外的有关变量也相应变化时2x每增加1亿元GDP增加1.8554亿元。GDP增加的1.8554亿元中2x的直接贡献只用1亿元，回归方程外的1x和3x的贡献是0.8554亿元。这里又出现一个问题，为什么回归方程外的1x和3x贡献是0.8554亿元，而不是2亿元呢？可以通过考察数据，2x的增加幅度远大于1x和3x的增加幅度，假如2x增加1亿元，1x和3x相应的增加幅度都达不到1亿元。四、参数估计要想用OLSE估计多元线性回归模型的未知数，样本容量必须不少于模型中参数的个数。在正态假定下，回归参数的MLE（最大似然估计）与OLSE（最小二乘估计）完全相同，即yXXX1)(?，误差项方差2的MLE为)(11?2eenSSEnL，这是2的有偏估计，但它满足一致性，在大样本的情况下，是2的渐近无偏估计量。参数估计量的性质：性质1，?是随机向量y的一个线性变换性质2，?是的无偏估计性质3，12)()?(XXD性质4，高斯-马尔科夫（G-M）定理（1）?c是c的无偏估计（2）?c的方差要小实用标准文案精彩文档高斯-马尔科夫定理在假定XyE)(,nIyD2)(时，的任一线性函数c的最小方差线性无偏估计为?c，其中c是任一p+1维常数向量，?是的最小二乘估计。此定理说明了用OLSE估计得到的估计量?是理想的估计量。关于这条性质，需要注意以下四点：第一，取常数向量c的第j（pj,,1,0）分量为1，其余分量为0，这时G-M定理表明最小二乘估计j?是j的最小方差线性无偏估计。第二，可能存在nyyy,,,21的非线性函数，作为c的无偏估计，比最小二乘估计?c的方差更小。第三，可能存在c的有偏估计量，在某种意义（例如均方差最小）下比最小二乘估计?c更好。第四，在正态假定下，?c是c的最小方差无偏估计。性质5，0),?cov(e，在正态假定下?与e不相关等价与?与e独立，从而?与SEE=ee独立。性质6，当),(~2nIXNy时，则)1(~))(,(~?2212pnSEEXXN五、自变量的显著性如何剔除多余的不显著的自变量？y对自变量pxxx,,,21线性回归的残差平方和为SSE，回归平方和为SSR，在剔除掉jx后，用y对其...