24/12/261第7章循环网络•主要内容–Hopfield网络实现的自相联存储–稳定性分析–统计Hopfield网与Boltzmann机–基本双联存储器(BAM)的结构与训练–几种相联存储网络–用Hopfield网解决TSP问题。24/12/262第7章循环网络•重点–Hopfield网络实现的自相联存储–基本双联存储器的结构与训练。•难点–稳定性分析–用Hopfield网解决TSP问题24/12/263第7章循环网络7.1循环网络的组织7.2稳定性分析7.3统计Hopfield网与Boltzmann机7.4双联存储器的结构7.5异相联存储7.6其它的双联存储器7.7Hopfield网用于解决TSP问题24/12/264第7章循环网络循环网络称为Hopfield网循环网络对输入信号的处理是一个逐渐“修复”、“加强”的过程。强烈变化较弱的变化不变化24/12/2657.1循环网络的组织•网络结构X1Xno1om………………24/12/2667.1循环网络的组织•联接：神经元之间都是互联的wij，每个神经元都没有到自身的联接wii=0。•神经元个数h，输入向量维数n，输出向量维数m。h≥n，h≥m，n≥1，m≥1。•神经元：输入、输出、隐藏•状态变化：非同步、同步•输入向量：X=(x1，x2，…，xn)•输出向量：O=(o1，o2，…，om)24/12/2677.1循环网络的组织神经元的网络输入：hjiijiijjxownet&1阈值函数：oj=1ifnetj>θj0ifnetj<θjojifnetj=θj24/12/268最基本的Hopfield网o1ono2x2x1xnW……•n=m=h24/12/269最基本的Hopfield网•希望网络的联接矩阵存放的是一组这样的样本，在联想过程中实现对信息的“修复”和“加强”，要求：它的输入向量和输出向量是相同的向量，即，X=Y•样本集：S={Y1，Y2，…，Ys}24/12/2610最基本的Hopfield网wii=01≤i≤n•W是一个对角线元素为0的对称矩阵：•W=Y1T╳Y1+Y2T╳Y2+…+YsT╳Ys-W0•W是各个样本向量自身的外积的和——网络实现的是自相联映射。skjkikyy1•权矩阵：wij=i≠j24/12/2611最基本的Hopfield网skknskkskkskkyyyyW12123122121000000000000024/12/26120112121111121122212121211121111211211111111021222121211111121111112121211121111211111102211WyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyWyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyWYYYYYYWsnsnnnssnnssnNsnsnsssssnsnsssssnsnssnssnsnssssssnsssssnnnnnnSTSTT24/12/2613由式7一3知，对任意的i和j(i≠j),jiskikjkskjkikijwyyyyw11所以，W是一个对角线元素为0的对称矩阵。与前面遇到过的训练方法不同，在这里是根据样本集直接地计算出网络的联接矩阵。显然，这种训练方法效率要高许多。另外，由于W是各个样本向量自身的外积的和，所以，有时称该网络实现的是自相联映射。24/12/2614最基本的Hopfield网•激活函数：改为S形函数后，系统就成为一个连续系统•多级循环网络除输出向量被反馈到输入层外，其它各层之间的信号传送均执行如下规定：第i-1层神经元的输出经过第i个连接矩阵被送入第i层。一般不考虑越层的信号传送、中间的信号反馈和同层的神经元之间进行信号的直接传送24/12/2615网络的异步工作方式网络的异步工作方式是一种串行方式。网络运行时每次只有一个神经元i按下式进行状态的调整计算，其他神经元的状态均保持不变，即24/12/2616神经元状态的调整次序可以按某种规定的次序进行，也可以随机选定。每次神经元在调整状态时，根据其当前净输入值的正负决定下一时刻的状态，因此其状态可能会发生变化，也可能保持原状。下次调整其他神经元状态时，本次的调整结果即在下一个神经元的净输入中发挥作用。网络的同步工作方式网络的同步工作方式是一种并行方式，所有神经元同时调整状态，即xj(t+1)＝...
