第07讲--反馈网络

第 07 讲 反馈网络反馈网络(Recurrent Network)，又称自联想记忆网络，其目的是为了设计一个网络，储存一组平衡点，使得当给网络一组初始值时，网络通过自行运行而最终收敛到这个设计的平衡点上。1982 年，美国加州工学院物理学家霍普菲尔德(J．Hopfield)发表了一篇对人工神经网络研究颇有影响的论文。他提出了一种具有相互联接的反馈型人工神“”经网络模型，并将 能量函数 的概念引入到对称霍普菲尔德网络的研究中，给出了网络的稳定性判据，并用来进行约束优化问题，如 TSP 问题的求解，实现A／D 转换等。他利用多元霍普菲尔德网络的多吸引子及其吸引域，实现了信息的联想记忆(associative memory)功能。另外霍普菲尔德网络与电子模拟线路之间存在着明显的对应关系，使得该网络易于理解且便于实现。而它所执行的运算在本质上不同于布尔代数运算，对新一代电子神经计算机具有很大的吸引力。反馈网络能够表现出非线性动力学系统的动态特性。它所具有的主要特性为以下两点：第一、网络系统具有若干个稳定状态。当网络从某一初始状态开始运动，网络系统总可以收敛到某一个稳定的平衡状态；第二，系统稳定的平衡状态可以通过设计网络的权值而被存储到网络中。如果将反馈网络稳定的平衡状态作为一种记忆，那么当网络由任一初始状态向稳态的转化过程，实质上是一种寻找记忆的过程。网络所具有的稳定平衡点是实现联想记忆的基础。所以对反馈网络的设计和应用必须建立在对其系统所具有的动力学特性理解的基础上，这其中包括网络的稳定性，稳定的平衡状态，以及判定其稳定的能量函数等基本概念。针对人工神经网络的特点，若按其运行过程的信息流向来分类，则可分为两大类：前向网络和反馈网络。在前面的章节里，主要介绍了前向网络，通过许多具有简单处理能力的神经元的相互组合作用使整个网络具有复杂的非线性逼近能力。在那里，着重分析的是网络的学习规则和训练过程，并研究如何提1高网络整体非线性处理能力。在本章中，我们将集中讨论反馈网络，通过网络神经元状态的变迁而最终稳定于平衡状态，得到联想存储或优化计算的结果。在这里，着重关心的是网络的稳定性问题，研究的重点是怎样得到和利用稳定的反馈网络。反馈式网络有多种，这里主要讨论由霍普菲尔德提出的反馈网络。霍普菲尔德网络是单层对称全反馈网络，根据其激活函数的选取不同，可分为离散型的霍普菲尔德网络(Discrete Hopfield Neural Network，简称 DHNN)和连续型的霍普...