半连续HMM码本生成算法的研究VIP免费

人工智能及识别技术文章编号：文献标识码：中图分类号：TN912.34半连续HMM码本生成算法的研究李军，朱小燕，王东（清华大学智能技术与系统国家重点实验室，北京100084）摘要：本文对基于半连续隐马尔科夫模型(SCHMM)语音识别系统的码本生成算法及其原理进行了探讨。阐述了译码器扰动简化随机松弛聚类算法(SR-D)，并将其应用到初始码本生成中。实验结果表明这种方法能显著地提高系统性能。初始码本生成后，采用最大似然准则对生成的码本进行了训练，使得码本和SCHMM其它参数达到较好的一致。本文也探讨了码本大小及其对最终性能的影响并给出了相关实验结果。关键词：SCHMM，聚类，码本，随机松弛TheResearchofCodebookGenerationAlgorithminSCHMMLiJun,ZhuXiaoyan,WangDong(StateKeylabofIntelligentTechnologyandSystem,TsinghuaUniversity,Beijing100084)【Abstract】ThispaperdiscussedthealgorithmsofcodebookgenerationinSCHMMbasedspeechrecognitionsystemandtheirfundamentalprinciple.IntroducingthebasicdisciplineofStochasticRelaxation-Division(SR-D)algorithm,weintroducedthegeneralideaintoourinitialcodebookgenerationalgorithm.Theexperimentresultsshowthatournewmethodsignificantlyimprovesthesystemperformance.Withthemodifiedinitialcodebook,themodelisfurthertrainedwiththecriterionofMaximumLikelihood(ML),whichleadsthecodebookandotherparametersmoreconsistentandcompatible。Theeffectofcodebooksizetofinalperformanceisalsodiscussedandrelativeexperimentresultsarepresented.【Keywords】SCHMM,clustering,codebook,StochasticrelaxationSCHMM作为一种有效的语音识别技术，是离散隐马尔科夫模型（DHMM）和连续隐马尔科夫模型（CHMM）的一种折衷方案。它既克服了DHMM识别精度较低的缺点,又降低了CHMM计算的复杂性，因而是一种相当好的语音识别技术。SCHMM之所以能做到这一点，主要是因为SCHMM使用了一组特殊的码本。这组码本由所有模型和所有状态共享。它相当于连接DHMM和CHMM的桥，是决定整个SCHMM系统性能的关键因素之一。码本在SCHMM中的重要性集中反映在码本的初值和数量上。好的初值能够总体上接近各模型的质心，因而在调整码本过程中收敛较快并且容易达到或接近全局最优，相反，如果某个模型附近没有码本，它在调整码本过程中对整个码本调整趋势的影响力降低以至于码本更加远离它，自然地，码本对这个模型的刻画精度就低；如果某个码本附近没有模型，那么所有模型对该码本的权重都较小以至于区别不大，这种情况造成的结果是该码本的方差迅速减小，均值变化不大，它对整个模型的刻画能力大大降低，从而成为垃圾码本。因此，码本初值的好坏对半连续模型相当重要。另外，由于码本是所有模型和状态共享的，多少码本才能较好地刻画整个模型也是值得探讨的问题。SCHMM码本的生成主要分两步，首先是生成初始码本，然后利用生成的初始码本在基于最大似然准则下进行迭代训练，直到满足精度要求为止。训练是必要的，初始码本通常是基于最小平均失真准则产生的，通过训练，能够使得码本在基于最大似然准则条件下和SCHMM其它参数达到较好的一致。初始码本的选择相当重要，因为在训练中用于迭代的价值函数是一个非凸函数，初值的好坏决定了迭代运算是否能收敛到全局最佳点。1初始码本生成的算法1.1聚类的基本原理及方法聚类的目的是把相似的对象分为同一类，从而能够对类内对象用同一种方式表示。从模式识别的角度看，聚类属于非监督学习的范畴，即是在未知类别标签的样本集上，通过对样本间相似性的度量将样本集划分为若干个子集。SCHMM的码本属于高维矢量，因此聚类算法要采用矢量量化的一些原理。在矢量量化器的最佳设计中，重要的问题是如何划分量化区间和确定量化矢量，Lloyd提出的两个条件回答了这两个问题。1、最佳划分，即找出给定码字矢量的最佳区域边界。这可以根据“最近邻原则”求出，。2、最佳码字，即找出与最佳区域边界内所有矢量之间畸变平均值最小的码字，这可以通过求最佳区域边界内所有矢量的质心解决。依据Lloyd准则，Linde等人...