系统辨识大作业 最小二乘法及其相关估值方法应用 学院：自动化学院 专业：信息工程 学号：********** 姓名：*** 日期：2010.11.14 基于最小二乘法的多种系统辨识方法研究 1 . 最小二乘法的引出 在系统辨识中用得最广泛的估计方法是最小二乘法(LS)。 设单输入-单输出线性定长系统的差分方程为 ᵆ(ᵅ) + ᵄ1ᵆ(ᵅ − 1) + ⋯ + ᵄᵅ(ᵅ − ᵅ) = ᵄ0ᵆ(ᵅ) + ⋯ + ᵄᵅᵆ(ᵅ − ᵅ)，ᵅ = 1，2，3，⋯ (5.1.1) 式中: ᵆ(ᵅ)为随机干扰；ᵆ(ᵅ)为理论上的输出值。ᵆ(ᵅ)只有通过观测才能得到，在观测过程中往往附加有随机干扰。ᵆ(ᵅ)的观测值ᵆ(ᵅ)可表示为 ᵆ(ᵅ) = ᵆ(ᵅ) + ᵅ(ᵅ) (5.1.2) 式中: ᵅ(ᵅ)为随机干扰。由式(5.1.2)得 ᵆ(ᵅ) = ᵆ(ᵅ) − ᵅ(ᵅ) (5.1.3) 将式(5.1.3)带入式(5.1.1)得 ᵆ(ᵅ) + ᵄ1ᵆ(ᵅ − 1) + ⋯ + ᵄᵅᵆ(ᵅ − ᵅ)= ᵄ0ᵆ(ᵅ) + ᵄ1ᵆ(ᵅ − 1) + ⋯ + ᵄᵅᵆ(ᵅ − ᵅ) + ᵅ(ᵅ) + ∑ ᵄᵅ(ᵅ − ᵅ)ᵅᵅ=1 (5.1.4) 我们可能不知道ᵅ(ᵅ)的统计特性，在这种情况下，往往把ᵅ(ᵅ)看做均值为 0 的白噪声。 设 ᵰ(ᵅ)=ᵅ(ᵅ)+∑ ᵄᵅ(ᵅ − ᵅ)ᵅᵅ=1 (5.1.5) 则式(5.1.4)可写成 ᵆ(ᵅ) = −ᵄ1ᵆ(ᵅ − 1) − ᵄ2ᵆ(ᵅ − 2) − ⋯ − ᵄᵅᵆ(ᵅ − ᵅ) + ᵄ0ᵆ(ᵅ) + ᵄ1ᵆ(ᵅ − 1) + ⋯+ ᵄᵅᵆ(ᵅ − ᵅ) + ᵰ(ᵅ) (5.1.6) 在观测ᵆ(ᵅ)时也有测量误差，系统内部也可能有噪声，应当考虑它们的影响。因此假定ᵰ(ᵅ)不仅包含了ᵆ(ᵅ)的测量误差，而且包含了ᵆ(ᵅ)的测量误差和系统内部噪声。假定ᵰ(ᵅ)是不相关随机序列(实际上ᵰ(ᵅ)是相关随机序列)。 现分别测出ᵅ + ᵄ个随机输入值ᵆ(1)，ᵆ(2)，⋯ ，ᵆ(ᵅ+ ᵄ)，ᵆ(1)，ᵆ(2)，⋯，ᵆ(ᵅ +ᵄ)，则可写成ᵄ个方程，即 ᵆ(ᵅ + 1) = −ᵄ1ᵆ(ᵅ) − ᵄ2ᵆ(ᵅ − 1) − ⋯ − ᵄᵅᵆ(1) + ᵄ0ᵆ(ᵅ + 1) + ᵄ1ᵆ(ᵅ) + ⋯ + ᵄᵅᵆ(1)+ ᵰ(ᵅ + 1) ᵆ(ᵅ+ 2) = −ᵄ1ᵆ(ᵅ + 1) − ᵄ2ᵆ(ᵅ) − ⋯ − ᵄᵅᵆ(2) + ᵄ0ᵆ(ᵅ+ 2) + ᵄ1ᵆ(ᵅ+ 1) + ⋯ + ᵄᵅᵆ(2)+ ᵰ(ᵅ + 2) ⋮ ᵆ(ᵅ + ᵄ) = −ᵄ1ᵆ(ᵅ + ᵄ − 1) − ᵄ2ᵆ(ᵅ + ᵄ − 2) − ⋯ − ᵄᵅᵆ(ᵄ) + ᵄ0ᵆ(ᵅ + ᵄ)+ ᵄ1ᵆ(ᵅ + ᵄ − 1) + ⋯ + ᵄᵅᵆ(ᵄ) + ᵰ(ᵅ...
