上海交通大学 人工神经网 课程 第四讲VIP专享VIP免费

2016诺贝尔生理学或医学奖—细胞自噬日本科学家大隅良典（YoshinoriOhsumi）最后折桂，理由是发现细胞自噬的原理机制——自噬反应（autophagy）人工神经网络及其应用第四讲反馈网络主讲人：方涛第四讲反馈网络主讲内容◆§4.1绪论◆§4.2离散型Hopfield神经网络◆§4.3连续时间的Hopfield神经网络模型◆§4.4联想记忆网络◆§4.5Hopfield网络的应用§4.1绪论(前馈网络与反馈网络)4.1.1前馈网络4.1.2反馈网络4.1.3Hopfield网络及其应用Hopfield模型是霍普菲尔德分别于1982年及1984提出的两个神经网络模型。1982年提出的是离散型，1984年提出的是连续型，但它们都是反馈网络结构。§4.1绪论(前馈网络与反馈网络)4.1.1前馈网络①I/O只是一种没有时延的映射关系,且注重考虑离散型网络；②图论观点→加权的有向图；③学习观点→具有强的学习能力，系统结构简单、易于编程，主要为误差修正，收敛速度慢；④系统观点→经由简单的非线性计算单元的复合映射，得到复杂的非线性处理能力，是静态的非线性映射；⑤计算观点→一个学习网络，不具有丰富的动力学行为。大部分前馈网络的分类能力和模式识别能力一般都强于反馈网络，典型的前馈网络有感知器网络、BP网络等。§4.1绪论(前馈网络与反馈网络)4.1.2反馈网络①连续、离散型网络，以微分/差分方程描述神经元和系统的数学模型，I/O间有时延；②图论观点→加权的完备无向图，所有节点之间都可互连；③学习观点→主要Hebb规则学习，收敛速度快；④系统观点→具有一般非线性动力学系统性质，是一个非线性动力学系统，不过作定量分析比较复杂和困难；(反馈动力学系统)系统的动力学行为：研究系统的稳定态，各类奇异吸引子、馄饨现象等。因此稳定性是反馈网络的重要特征之一。⑤计算观点→计算能力比前馈网络强，经由网络中神经元的状态变迁最终趋于状态空间中不动点吸引子（定态），以获得联想存储或神经计算联想存储或神经计算的结果。§4.1绪论(前馈网络与反馈网络)⑥神经动力学（Neurodynamics）1989年Hirsch把神经网络看成是一种非线性动力学系统，是神经网络与动力系统交叉结合的一门新型学科，称为神经动力学◆确定性神经动力学将神经网络作为确定性行为，在数学上用非线性微分方程的集合来描述系统的行为，方程解为确定的解。◆统计性神经动力学将神经网络看成被噪声所扰动，在数学上采用随机性的非线性微分方程来描述系统的行为，方程的解用概率表示。§4.1绪论(前馈网络与反馈网络)4.1.3Hopfield网络及其应用系统的动力学行为：研究系统的稳定态，各类奇异吸引子、馄饨现象等。因此稳定性是反馈网络的重要特征之一。对HP网络，有输入时，状态不断变化，并产生HP的输出，输出再反馈到输入，产生新的输出，这样一旦达到一个稳定的平衡态时，Hopfield网络输出一个稳定的恒值。研究Hopfield网络的关键是：①如何确定达到稳定状态的连接权？②如何判定是否为稳定态？③依据是什么？优化计算（最优化问题）具有全局渐进稳定的唯一平衡点；（全局最优解）绝对稳定；（保证外部输入都是全局渐进稳定的）§4.２离散型Hopfield神经网络4.２.1与状态空间中有关的状态变迁基本概念4.２.2离散Hopfield网络拓扑结构4.２.3离散Hopfield网络的不同工作方式4.２.4离散Hopfield网络的性能及有关定理4.２.5学习规则4.２.1与状态空间中有关的状态变迁基本概念4.２.１.１网络的稳定性从一初态开始，经有限时间ｔ后，网络的状态满足则网络是稳定的是稳定的。4.２.１.2网络的吸引子如果在时刻t以及以后，网络是稳定的，则网络的状态称为稳定的吸引子稳定的吸引子((稳定的平衡状态或者网络能量函数的极值稳定的平衡状态或者网络能量函数的极值点点))，否则为非稳定的吸引子非稳定的吸引子。§4.２离散型Hopfield神经网络§4.２离散型Hopfield神经网络吸引域吸引域:能够稳定该吸引子的所有初始状态的集合，或在稳定点（吸引子）周围区域内，任一初始状态出发都能收敛于此稳定点，此区域即吸引域。吸引域的大小用吸引半径来描述。吸引域是衡量网络容错性的指标，吸引域越大网络的容错性能越好，或者说网络的联想能力就越强。吸引半径吸引半径:吸引域中所含所有...