完整版最小二乘法及其应用VIP专享VIP免费

1 最小二乘法及其应用1． 引言最小二乘法在 19世纪初发明后 , 很快得到欧洲一些国家的天文学家和测地学家的广泛关注。据不完全统计, 自 1805 年至 1864 年的 60 年间, 有关最小二乘法的研究论文达256 篇, 一些百科全书包括 1837年出版的大不列颠百科全书第 7 版, 亦收入有关方法的介绍。同时, 误差的分布是“正态”的, 也立刻得到天文学家的关注及大量经验的支持。如贝塞尔 ( F. W. Bessel, 1784— 1846)对几百颗星球作了三组观测, 并比较了按照正态规律在给定范围内的理论误差值和实际值 , 对比表明它们非常接近一致。 拉普拉斯在 1810 年也给出了正态规律的一个新的理论推导并写入其《分析概论》中。正态分布作为一种统计模型 , 在 19 世纪极为流行 , 一些学者甚至把 19 世纪的数理统计学称为正态分布的统治时代。在其影响下, 最小二乘法也脱出测量数据意义之外而发展成为一个包罗极大, 应用及其广泛的统计模型。 到 20 世纪正态小样本理论充分发展后 , 高斯研究成果的影响更加显著。最小二乘法不仅是19 世纪最重要的统计方法 , 而且还可以称为数理统计学之灵魂。相关回归分析、方差分析和线性模型理论等数理统计学的几大分支都以最小二乘法为理论基础。正如美国统计学家斯蒂格勒( S. M. Stigler)所说 , “最小二乘法之于数理统计学犹如微积分之于数学”。最小二乘法是参数回归的最基本得方法所以研究最小二乘法原理及其应用对于统计的学习有很重要的意义。2. 最小二乘法所谓最小二乘法就是：选择参数10,bb, 使得全部观测的残差平方和最小. 用数学公式表示为：21022)()(miniiiiixbbYYYe为了说明这个方法， 先解释一下最小二乘原理， 以一元线性回归方程为例. iiixBBY10（一元线性回归方程）2 由于总体回归方程不能进行参数估计，我们只能对样本回归函数来估计即：iiiexbbY10)...2,1(ni从上面的公式可以看出：残差ie 是iY 的真实值与估计值之差，估计总体回归函数最优方法是，选择10 ,BB的估计量10 ,bb，使得残差ie 尽可能的小 . 总之，最小二乘原理就是选择样本回归函数使得所有Y的估计值与真实值差的平方和为最小，这种确定10,bb的方法叫做最小二乘法。最小二乘法是回归分析中的最基本的方法。回归方程一般分为2 类，线性回归方程和非线性回归方程。2.1 线性回归最小二乘法最小二乘法是由实验或调查的数据，建立线性型公式的一种常用方法. 在建立线性型公式中， 虽...