第4章 线性回归模型的矩阵方法VIP免费

经济类核心课程·计量经济学PowerPointPresentationbyLuShiguang2012AllRightReserved,HunanInstituteofEngineering第四章线性回归模型的矩阵方法教师：卢时光本章介绍用矩阵代数符号来表示经典线性回归模型。本章除矩阵模型之外，不涉及新概念。矩阵代数最大的优越性在于，它为处理任意多个变量的回归模型提供了一种简洁的方法。本章需要具有行列式和矩阵代数的数学基础，请各位同学自行复习相关知识。在本章的讲授过程中所遇到的有关矩阵计算的定理和结论，不再一一证明，请自行参考有关书籍。4.1k变量的线性回归模型如果我们把双变量和三变量的回归模型进行推广，则包含应变量Y和k-1个解释变量X2，X3，…，Xk的总体回归函数（PRF）表达为：其中，β1截距，β2到βk是偏斜率（回归）系数，u是随机干扰项，i是第i次观测，n为总体大小。总体回归函数如同以前那样解释：给定了X2，X3，…，Xk的固定值（在重复抽样中）为条件的Y的均值或期望值。PRF还可以表达为：niuXXXYikikiii,,2,133221nknknnnkkkkuXXXYuXXXYuXXXY3322122323222121131321211上述表达式，如果写出矩阵的形式：这样，我们把下述方程表达称之为：一般（k变量）线性模型的矩阵表现：如果矩阵和向量的各个维数或阶不会引起误解，则可以简单写作：y：对应变量Y观测值的n×1列向量。X：给出对k-1个变量X2至Xk的那次观测值的n×k矩阵，其全为1的列表示截距项。此阵又称为数据矩阵。β：未知参数β1到βk的k×1列向量。u：n个干扰ui的n×1列向量。uβXY1112121222212121nnknnkknuuuXXXXXXYYY111nkknnuβXYuXβY4.2经典回归模型的假定的矩阵表达1.残差期望为零2.同方差性和无序列相关性u’是列向量u的转置或者一个行向量。做向量乘法：0)(iuE000)()()()(2121nnuEuEuEuuuEEu][)'(2121nnuuuuuuEEuu由于同方差性和无序列相关性，我们得到干扰项ui的方差-协方差矩阵。此阵的主对角线（由左上角到右下角）上的元素给出方差，其他元素给出协方差。注意方差-协方差矩阵的对称性。其中I是一个恒等矩阵。Iuu'2222222122212121212212221212121100010001000000)()()()()()()()()()(nnnnnnnnnnuEuuEuuEuuEuEuuEuuEuuEuEuuuuuuuuuuuuuuuEE3.X是非随机的。我们的分析是条件回归分析，是以各个X变量的固定值作为条件的。4.无多重共线性无多重共线性是指矩阵X是列满秩的，即其矩阵的秩等于矩阵的列数，意思是，X矩阵的列是线性独立的。存在一组不全为零的数λ1λ2…λk，使得：用矩阵来表示：5.向量u有一多维正态分布，即：02211kikiiXXX0Xλ'),(~2I0uN4.3OLS估计我们先写出k变量样本回归函数：如同前面的分析，我们也是从残差平方和的最小化来进行的：uβXyˆˆˆˆˆˆˆ33221用矩阵来表达：ikikiiiuXXXY22222121212332212ˆˆˆˆˆˆˆˆˆˆˆˆˆˆ)ˆˆˆˆ(ˆinnnkikiiiiuuuuuuuuuuXXXYuu'uu'u最小化：等于求用矩阵来表达，为了使得残差平方和尽可能的小，我们仍然是对参数β1到βk微分，并令微分的结果表达式为零，同样得到最小二乘理论的正则方程：k个未知数的k个联立方程。为其自身；（实数）其转置为一标量以及；这里用到矩阵的性质：βXy'yX''βX''β'βXβXX''βyX''βyy'βXy'βXyu'uβXyuˆˆˆ)ˆ(...