参数估计的改进算法

（2003 年教案） 辨识与自适应 第三章 1 第三章 参数估计的改进算法 §3—1 最小二乘方法的改进—辅助变量法 （I V法 Instru ment Variable ） 辅助变量法是在模型误差为相关噪声的情况下，通过引进辅助变量矩阵，对线性最小二乘估计的一种改进。 一、参数的辅助变量估计 考虑模型 式（3- 1- 1） 其中： 当进行了 k = 1-n, 2-n, .., 0, 1, 2, … , N 共计（N+n）次采样，得到N个方程： 用矩阵表示成 y N = N  + e N 式（3 -1- 2） 其中 e N = [e(1),… .,e(N)]T 最小二乘估计为： LS =（ N T  N）- 1  N T y N )](),...,1(),(),...,1([],...,,,,....,,[2121nkukunkykybbbaaaTknnTk )()(kekyTk（2 0 0 3 年教案） 辨识与自适应 第三章 2 设（ N T  N）满秩，将过程模型式（2-3-2）带入上式，得出： LS =（ N T  N）- 1  N T（N  + e N） 式（3-1- 3） 有： 和 令： = E [ k kT]2n2n 式（3 -1- 4） 和 e= E [ k e(k) ]2n1 式（3 -1- 5） 可以证明：当N   时 式（3-1- 6） 式（3-1- 7） 依据 Frechek 定理： 若随机序列 x K   ， eNkpKNkpTkkkeNN  11)(11NTNNTNLSeNN111)(111keNeNNkkNTNnkTkkTNTTNNTNNNN121,2,11....11（2003 年教案） 辨识与自适应 第三章 3 则 f(x K) f(  ) 故有： LS   + [  ]- 1[ e ] 式（3 -1- 8） 如果： 满秩，且e = 0 ，则  LS   为一致性无偏估计，如e  0 ，则  LS   +  为有偏估计。 分析e= E [ k e(k) ] k = [ -y(k-1),… ,-y(k-n),u(k-1),… ,u(k-n) ]T, 即 e不仅依赖于e(k)，也依赖于e(k-1)、e(k-2)… .，如果 { e(k) } 是白噪声，e(k) 与e(k-1)、e(k-2)… .不相关，则 e = 0 ，    如果{ e(k) } 是有色噪声, 则 e  0，   +  问题：如何在有色噪声干扰条件下得到无偏估计？ 通过构造一个与 N相似，但是能满足以下关...