神经网络的 Levenberg-Marquardt算法研究摘要：本文主要介绍LM(Levenberg-Marquardt) 神经网络算法， LM算法是梯度下降法和高斯—牛顿法的结合，这种神经网络算法综合了这两种方法的优点，在一定程度上克服了基本的BP网络收敛速度慢和容易陷入局部最小点等问题。对LM算法的计算步骤作了简要的阐述。最后介绍了LM神经网络算法再监督控制上的应用。关键词：神经网络； LM算法；计算步骤；监督控制0 引言神经网络 BP学习算法在理论上具有逼近任意非线性连续映射的能力，在非线性系统的建模及控制领域里有着广泛的应用。然而BP 算法存在一些不足，主要是收敛速度很慢；往往收敛于局部极小点；数值稳定性差，学习率、动量项系数和初始权值等参数难以调整，非线性神经网络学习算法LM可以有效地克服 BP算法所存在的这些缺陷 [1] 。LM算法是高斯—牛顿法和最速下降法的结合，具有高斯—牛顿法的局部收敛性和梯度下降法的全局特性。它通过自适应调整阻尼因子来达到收敛特性，具有更高的迭代收敛速度，在很多非线性优化问题中得到了稳定可靠解。在LM算法的计算过程中，初值是一个很重要的因素。若选择的初值X0接近真值时，收敛速度很快且能够得到全局最优解，但如果初值远离真解时，优化结果往往过早的陷入局部最优解从而得到的结果完全背离真解。要解决该问题，一是通过得到大量的原始信息来对真值有一个较准确的估计，但这在实际问题中往往不太可能达到；另外就是选择一种合理的全局最优化算法与其相结合，消除LM算法对初值的依赖且具有很快的收敛速度 [2] 。1 神经网络神经网络具有高度的自学习、自组织和自适应能力，能通过学习和训练获取网络的权值和结构。多层前向神经网络具有理论上可逼近任意非线性连续映射的能力，因而非常适合于非线性系统的建模及控制，是目前使用较多的一种神经网络模型[3] 。BP网络 (Back Propagation Network)称为误差反向传播神经网络，它是一种能朝着满足给定的输入 / 输出关系方向进行自组织的神经网络，其典型的结构图如图 1 所示，由三部分组成：输入层、隐含层、输出层，三部分之间通过各层节点之间的连接权依次前向连接。目前，在人工神经网络的实际应用中，绝大部分的神经网络模型是采用 BP网络和它的变化形式，它也是前馈型网络的核心部分，并体现了人工神经网络最精华的部分。BP网络主要应用于函数逼近、模式识别、分类以及数据压缩中。 BP网络用于函数逼近就是用输入矢量和相应的输出矢量训...
