第一讲普通最小二乘法的代数VIP专享VIP免费

第一讲普通最小二乘法的代数一、问题假定y与x具有近似的线性关系：，其中是随机误差项。我们对这两个参数的值一无所知。我们的任务是利用样本数据去猜测的取值。现在，我们手中就有一个样本容量为N的样本，其观测值是：。问题是，如何利用该样本来猜测的取值？为了回答上述问题，我们可以首先画出这些观察值的散点图（横轴x，纵轴y）。既然y与x具有近似的线性关系，那么我们就在图中拟合一条直线：。该直线是对y与x的真实关系的近似，而分别是对的猜测（估计）。问题是，如何确定与，以使我们的猜测看起来是合理的呢？笔记：1、为什么要假定y与x的关系是呢？一种合理的解释是，某一经济学理论认为x与y具有线性的因果关系。该理论在讨论x与y的关系时认为影响y的其他因素是不重要的，这些因素对y的影响即为模型中的误差项。2、被称为总体回归模型。由该模型有：。既然代表其他不重要因素对y的影响，因此标准假定是：。故进而有：，这被称为总体回归方程（函数），而相应地被称为样本回归方程。由样本回归方程确定的与是有差异的，被称为残差。进而有：，这被称为样本回归模型。二、两种思考方法法一：与是N维空间的两点，与的选择应该是这两点的距离最短。这可以归结为求解一个数学问题：由于是残差的定义，因此上述获得与的方法即是与的值应该使残差平方和最小。法二：给定，看起来与越近越好（最近距离是0）。然而，当你选择拟合直线使得与是相当近的时候，与的距离也许变远了，因此存在一个权衡。一种简单的权衡方式是，给定，拟合直线的选择应该使与、与、...、与的距离的平均值是最小的。距离是一个绝对值，数学处理较为麻烦，因此，我们把第二种思考方法转化求解数学问题：由于N为常数，因此法一与法二对于求解与的值是无差异的。三、求解定义，利用一阶条件，有：由（1）也有：在这里、笔记：这表明：1、样本回归函数过点，即穿过数据集的中心位置；2、（你能证明吗？），这意味着，尽管的取值不能保证，但的取值能够保证的平均值与的平均值相等；3、虽然不能保证每一个残差都为0，但我们可以保证残差的平均值为0。从直觉上看，作为对的一个良好的猜测，它们应该满足这样的性质。笔记：对于简单线性回归模型：，在OLS法下，由正规方程（1）可知，残差之和为零【注意：只有拟合直线带有截距时才存在正规方程（1）】。由正规方程（2），并结合正规方程（1）有：无论用何种估计方法，我们都希望残差所包含的信息价值很小，如果残差还含有大量的信息价值，那么该估计方法是需要改进的对模型利用OLS，我们能保证（1）：残差均值为零；（2）残差与解释变量x不相关【一个变量与另一个变量相关是一个重要的信息】。方程（1）与（2）被称为正规方程，把带入（2），有：上述获得的方法就是普通最小二乘法（OLS）。练习：（1）验证：提示：定义的离差为，则离差之和必为零。利用这个简单的代数性质，不难得到：笔记：定义y与x的样本协方差、x的样本方差分别为：，则。上述定义的样本协方差及其样本方差分别是对总体协方差及其总体方差的有偏估计。相应的无偏估计是：基于前述对与的定义，可以验证：其中a，b是常数。值得指出的是，在本讲义中，在没有引起混淆的情况下，我们有时也用、来表示总体方差与协方差，不过上述公式同样成立。（2）假定，用OLS法拟合一个过原点的直线，求证在OLS法下有：并验证：笔记：1、现在只有一个正规方程，该正规方程同样表明然而，由于模型无截距，因此在OLS法下我们不能保证恒成立。所以，尽管成立，但现在该式并不意味着成立。2、无截距回归公式的一个应用：定义、、，则。按照OLS无截距回归公式，有：（3）假定，用OLS法拟合一水平直线，即：，求证。笔记：证明上式有两种思路，一种思路是求解一个最优化问题，我们所获得的一个正规方程同样是；另外一种思路是，模型是模型的特例，利用的结论，注意到此时，因此同样有。（4）对模型进OLS估计，证明残差与样本不相关，即。四、拟合程度的判断（一）方差分解及其R2的定义可以证明，。证明：方差表示一个变量波动的信息。方差分解亦是信息分解。建立样本回归函数时，从直觉上看，我们当然希望关于的波动信...