用极大似然法进行参数估计

《系统辨识》上机实验报告 北京工商大学 《系统辨识》课程 上机实验报告 （2014 年秋季学期） 专业名称 ： 控制工程 上机题目 ： 极大似然法进行参数估计 专业班级 ： 2 0 1 5 年 1 月 一 实验目的 通过实验掌握极大似然法在系统参数辨识中的原理和应用。 《系统辨识》上机实验报告 二 实验原理 1 极大似然原理 设有离散随机过程}{kV与未知参数 有关，假定已知概率分布密度 )(kVf。如果我们得到n个独立的观测值,21,VV…nV,，则可得分布密度)(1Vf， )(2Vf，…,)(nVf。要求根据这些观测值来估计未知参数 ，估计的准则是观测值{}{kV}的出现概率为最大。为此，定义一个似然函数 )()()(),,,(2121nnVfVfVfVVVL （1.1） 上式的右边是 n个概率密度函数的连乘，似然函数L是 的函数。如果L达到极大值，}{kV的出现概率为最大。因此，极大似然法的实质就是求出使 L达到极大值的 的估值 。为了便于求 ，对式（1.1）等号两边取对数，则把连乘变成连加，即 niiVfL1)(lnln （1.2） 由于对数函数是单调递增函数，当 L取极大值时，lnL也同时取极大值。求式（1.2）对 的偏导数，令偏导数为 0，可得 0lnL （1.3） 解上式可得 的极大似然估计ML。 2 系统参数的极大似然估计 Newton-Raphson法实际上就是一种递推算法，可以用于在线辨识。不过它是一种依每 L次观测数据递推一次的算法，现在我们讨论的是每观测一次数据就递推计算一次参数估计值得算法。本质上说，它只是一种近似的极大似然法。 设系统的差分方程为 )()()()()(11kkuzbkyza （2.1） 式中 111()1...nna za za z  1101()...nnb zbb zb z 因为)(k是相关随机向量，故（2.1）可写成 )()()()()()(111kzckuzbkyza （2.2） 式中 )()()(1kkzc （2.3） nnzczczc1111)( （2.4） )(k是均值为 0的高斯分布白噪声序列。多项式)(1za，)(1zb和)(1zc中的系数《系统辨识》上机实验报告 nnccbbaa,,,,,10,1和序列)}({k的均方差 都是未知参数。 设待估参数 naa 1[ nbb 0 Tncc 1 （2.5） 并设)(ky的预测值为 )()()()1()(01nkubkubnkyakyakynn )()1(1nkeckecn （2.6） 式中)(ike为预测误差；ia...