最小二乘估计教学目标:1、掌握最小二乘法的思想2、能根据给出的线性回归方程系数公式建立线性回归方程教学重点:最小二乘法的思想教学难点:线性回归方程系数公式的应用教学过程回顾:上节课我们讨论了人的身高与右手一拃长之间的线性关系,用了很多种方法来刻画这种线性关系,但是这些方法都缺少数学思想依据
问题1、用什么样的线性关系刻画会更好一些
想法:保证这条直线与所有点都近(也就是距离最小)
最小二乘法就是基于这种想法
问题2、用什么样的方法刻画点与直线的距离会方便有效
设直线方程为y=a+bx,样本点A(xi,yi)方法一、点到直线的距离公式方法二、显然方法二能有效地表示点A与直线y=a+bx的距离,而且比方法一更方便计算,所以我们用它来表示二者之间的接近程度
问题3、怎样刻画多个点与直线的接近程度
例如有5个样本点,其坐标分别为(x1,y1),(x2,y2),(x3,y3),(x4,y4),(x5,y5)与直线y=a+bx的接近程度:从而我们可以推广到n个样本点:(x1,y1),(x2,y2),…(xn,yn)与直线y=a+bx的接近程度:使得上式达到最小值的直线y=a+bx就是我们所要求的直线,这种方法称为最小二乘法问题4、怎样使达到最小值
先来讨论3个样本点的情况设有3个点(x1,y1),(x2,y2),(x3,y3),则由最小二乘法可知直线y=a+bx与这3个点的接近程度由下面表达式刻画:…………………①整理成为关于a的一元二次函数,如下所示:1y0iiy,xiibxa,xbxayx利用配方法可得从而当时,使得函数达到最小值
将代入①式,整理成为关于b的一元二次函数,同样使用配方法可以得到,当时,使得函数达到最小值
从而得到直线y=a+bx的系数a,b,且称直线y=a+bx为这3个样本点的线性回归方程
用同样的方法我们可以推导出n个点的线性回归方程的系数:其中由