Chapter1线性回归模型的OLS估计

第1章 线性回归模型 考察多个自变量对一个因变量的影响。比如，施肥量、土质与农业产量的关系，受教育年数、工龄、性别对收入的影响，警察数量、下岗职工对城市犯罪率的影响等。以双变量为例。x1、x2 对y存在影响，同时 x1 和 x2 之间也存在相关关系。如图所示。 1.1 模型设定 假定变量yt 与 k 个变量xt j, j = 1, … , k，存在线性关系。多元线性回归模型表示为， 01 1ttkkttyxxu 1.1 其中 yt 是被解释变量（因变量），xj t 是解释变量（自变量），ut 是随机误差项，i, i = 0, 1, … , k 是回归参数（通常未知）。这说明 xj t, j = 1, … , k, 是 yt 的重要解释变量。ut 代表其他影响yt 变化的随机因素。 给定一个样本（yt , xt1, xt2 ,… , xt k），t = 1, 2, … , T，上述模型表示为， 111101112221221(1)(1)(1) 1(1)111jkjkTjTkTkTTTTkTkxxxyuxxxyuxxxyu 1.2 令 12(1 )TTyyy y, 111112221(1)111jkjkTjTkTTkxxxxxxxxx X 01(1 )1kk  β, 12(1)TTuuu u 则(3.3) 式可以写为， y = X + u 1.3 X1 X2 y 1.2 参数估计 1.2.1 参数的点估计 1． 最小二乘法（OLS） 设残差平方和用Q 表示， ˆˆˆ ˆˆˆ()'()()'()ˆˆˆˆ''''''ˆˆˆ'2 '''Qu uyyyyyXβyXβy yβ X yy Xββ X Xβy yy Xββ X Xβ=' = 1.4 上式中，因为ˆ ''β X y是一个标量，所以有ˆˆ'''β X yy Xβ 。求 Q 对 ˆ 'β 的一阶偏导数，并令其为零， ˆ2'2'ˆQ X yX Xβ0β 1.5 化简得， ˆ''X yX Xβ 假定 1 解释变量之间线性无关。 Rank(X'X) = Rank(X) = K＋1 1.6 其中Rank()表示矩阵的秩。即解释变量之间彼此线性无关。 如果假定 1 成立，可以直接得到β 的最小二乘估计量ˆβ ， 1ˆ(')'βX XX y 1.7 ˆˆ yXβ 表示y 的拟合值，ˆˆ uyXβ 表示残差项。拟合值和残差项经常表示为另外一种形式：...