普通最小二乘法(Ordinary least squares, OLS)给出的判断标准是:二者之差的平方和最小。 称为 OLS估计量的离差形式(deviation form)。 称为样本回归函数的离差形式。 对于最大或然法,当从模型总体随机抽取 n 组样本观测值后,最合理的参数估计量应该使得从模型中抽取该 n 组样本观测值的概率最大。 在满足基本假设条件下,对一元线性回归模型: 于是,Y 的概率函数为 或然函数(likelihood function)为: niiiniXYYYQ121021))ˆˆ(()ˆ(2212220)(ˆ)(ˆiiiiiiiiiiiiiXXnXYXYnXXnXYXYXXYxyxiii1021ˆˆˆiixy1ˆˆiiiXY10),ˆˆ(~210iiXNY2102)ˆˆ(2121)(iiXYieYP),,,(),ˆ,ˆ(21210nYYYPL21022)ˆˆ(21)2(1iinXYne 高斯—马尔可夫定理(Gauss-Markov theorem) 在给定经典线性回归的假定下,最小二乘估计量是具有最小方差的线性无偏估计量。 普通最小二乘估计量(ordinary least Squares Estimators)称为最佳线性无偏估计量(best linear unbiased estimator, BLUE) 2 的最小二乘估计量为 它是关于2 的无偏估计量。 2102*)ˆˆ(21)2ln()ln(iiXYnLL2212220)(ˆ)(ˆiiiiiiiiiiiiiXXnXYXYnXXnXYXYX),(~ˆ2211ixN),(~ˆ22200iixnXN22ˆ/1ix222ˆ0iixnX2ˆ22 nei因此,2 的最大或然估计量不具无偏性,但却具有一致性。 TSS=ESS+RSS Y 的观测值围绕其均值的总离差(total variation)可分解为两部分:一部分来自回归线(ESS),另一部分则来自随机势力(RSS)。 拟合优度:回归平方和 ESS/Y 的总离差 TSS 称 R2 为(样本)可决系数/判定系数(coefficient of determination)。 可决系数的取值范围:[0,1] R2 越接近 1,说明实际观测点离样本线越近,拟合优度越高。 1ˆ 的样本方差: 222ˆˆ1ixS 1ˆ 的样本标准差: 2ˆˆ1ixS 0ˆ 的样本方差: 2222ˆˆ0iixnXS 0ˆ 的样本标准差: 22ˆˆ0iixnXS TSSRSSTSSESSR1记222212ˆiiyxR)2(~ˆˆntstiii1)...