极大似然参数辨识方法

2 极大似然参数辨识方法 极大似然参数估计方法是以观测值的出现概率为最大作为准则的，这是一种很普遍的参数估计方法，在系统辨识中有着广泛的应用。 2.1 极大似然原理 设有离散随机过程}{kV与未知参数 有关，假定已知概率分布密度 )(kVf。如果我们得到n 个独立的观测值,21,VV…nV,，则可得分布密度)(1Vf， )(2Vf，…,)(nVf。要求根据这些观测值来估计未知参数 ，估计的准则是观测值{}{kV}的出现概率为最大。为此，定义一个似然函数 )()()(),,,(2121nnVfVfVfVVVL （2.1.1） 上式的右边是n 个概率密度函数的连乘，似然函数L 是 的函数。如果L 达到极大值，}{kV的出现概率为最大。因此，极大似然法的实质就是求出使 L 达到极大值的 的估值 。为了便于求 ，对式（2.1.1）等号两边取对数，则把连乘变成连加，即 niiVfL1)(lnln （2.1.2） 由于对数函数是单调递增函数，当 L 取极大值时，lnL 也同时取极大值。求式（2.1.2）对 的偏导数，令偏导数为0，可得 0lnL （2.1.3） 解上式可得 的极大似然估计ML。 2.2 系统参数的极大似然估计 设系统的差分方程为 )()()()()(11kkuzbkyza （2.2.1） 式中 111()1...nna za za z  1101()...nnb zbb zb z 因为)(k是相关随机向量，故（2.2.1）可写成 )()()()()()(111kzckuzbkyza （2.2.2） 式中 )()()(1kkzc （2.2.3） nnzczczc1111)( （2.2.4） )(k是均值为0 的高斯分布白噪声序列。多项式)(1za，)(1zb和)(1zc中的系数nnccbbaa,,,,,10,1和序列)}({k的均方差 都是未知参数。 设待估参数 naa 1[ nbb 0 Tncc 1 （2.2.5） 并设)(ky的预测值为 )()()()1()(01nkubkubnkyakyakynn )()1(1nkeckecn （2.2.6） 式中)(ike为预测误差；ia ，ib ，ic 为ia ，ib ，ic 的估值。预测误差可表示为 )()()()()()(01ikubikyakykykykeniinii )()()()1()(110111kuzbzbbkyzazaikecnnnnnii )()(2211kezczczcnn （2.2.7） 或者 )()1(11kezczcnn=)()1(11kyza...