多元线性回归模型

1 多元线性回归模型 1．假定条件、最小二乘估计量和高斯—马尔可夫定理 多元线性回归模型： yt = 0 +1xt1 + 2xt2 +…+ k- 1xt k -1 + ut , (1.1) 其中 yt 是被解释变量（因变量），xt j 是解释变量（自变量），ut 是随机误差项，i, i = 0, 1, … , k - 1 是回归参数（通常未知）。 )1(21)1(110)(111222111111)1(21111TTkkkTkTTjTkjkjTTuuuxxxxxxxxxyyy (1.3) Y = X  + u , (1.4) 为保证得到最优估计量，回归模型（1.4）应满足如下假定条件。 假定 ⑴ 随机误差项 ut 是非自相关的，每一误差项都满足均值为零，方差 2相同且为有限值，即 E(u) = 0 = 00, Var (u) = E( uˆ uˆ ' ) =  2I =  210000001 假定 ⑵ 解释变量与误差项相互独立，即 E(X 'u) = 0 假定 ⑶ 解释变量之间线性无关。 rk(X 'X) = rk(X) = k 其中 rk()表示矩阵的秩。 假定⑷ 解释变量是非随机的，且当 T → ∞ 时 T– 1X 'X → Q 其中 Q 是一个有限值的非退化矩阵。 最小二乘 (OLS) 法的原理是求残差（误差项的估计值）平方和最小。代数上是求极值问题。 minS = (Y - X ˆ )' (Y - X ˆ ) = Y 'Y - ˆ 'X 'Y - Y ' Xˆ + ˆ 'X 'Xˆ = Y 'Y - 2 ˆ 'X 'Y + ˆ 'X 'Xˆ (1.5) 因为 Y 'X ˆ 是一个标量，所以有 Y 'X ˆ = ˆ 'X 'Y。(1.5) 的一阶条件为： 2 ˆS = - 2X 'Y + 2X 'X ˆ = 0 (1.6) 化简得 X 'Y = X 'X ˆ 因为 (X 'X) 是一个非退化矩阵（见假定⑶），所以有 ˆ = (X 'X)-1 X 'Y （1.7） 因为X 的元素是非随机的，(X 'X) -1X 是一个常数矩阵，则ˆ 是Y 的线性组合，为线性估计量。 求出ˆ ，估计的回归模型写为 Y = X ˆ + uˆ (1.9) 其中ˆ = (0ˆ 1ˆ … 1ˆk)' 是  的估计值列向量，uˆ = (Y - X ˆ ) 称为残差列向量。因为 uˆ = Y - X ˆ = Y - X (X 'X)-1X 'Y = [I - X (X 'X)-1 X ' ]Y (1.10) 所以uˆ...