普通最小二乘法(Ordinary least squares, OLS)给出的判断标准是:二者之差的平方和最小
称为 OLS估计量的离差形式(deviation form)
称为样本回归函数的离差形式
对于最大或然法,当从模型总体随机抽取 n 组样本观测值后,最合理的参数估计量应该使得从模型中抽取该 n 组样本观测值的概率最大
在满足基本假设条件下,对一元线性回归模型: 于是,Y 的概率函数为 或然函数(likelihood function)为: niiiniXYYYQ121021))ˆˆ(()ˆ(2212220)(ˆ)(ˆiiiiiiiiiiiiiXXnXYXYnXXnXYXYXXYxyxiii1021ˆˆˆiixy1ˆˆiiiXY10),ˆˆ(~210iiXNY2102)ˆˆ(2121)(iiXYieYP),,,(),ˆ,ˆ(21210nYYYPL21022)ˆˆ(21)2(1iinXYne 高斯—马尔可夫定理(Gauss-Markov theorem) 在给定经典线性回归的假定下,最小二乘估计量是具有最小方差的线性无偏估计量
普通最小二乘估计量(ordinary least Squares Estimators)称为最佳线性无偏估计量(best linear unbiased estimator, BLUE) 2 的最小二乘估计量为 它是关于2 的无偏估计量
2102*)ˆˆ(21)2ln()ln(iiXYnLL2212220)(ˆ)(ˆiiiiiiiiiiiiiXXnXYXYnXXnXYXYX),(~ˆ2