人工智能导论人工神经网络及其应用导论VIP免费

第8章人工神经网络及其应用528.1神经元与神经网络8.2BP神经网络及其学习算法8.3BP神经网络的应用8.4Hopfield神经网络及其改进8.5Hopfield神经网络的应用8.4Hopfield神经网络及其改进1.离散型Hopfield神经网络2.连续型Hopfield神经网络及其VLSI实现3.随机神经网络538.4Hopfield神经网络及其改进1.离散型Hopfield神经网络2.连续型Hopfield神经网络及其VLSI实现3.随机神经网络548.4Hopfield神经网络及其改进J.J.Hopfield551x2xxn离散Hopfield神经网络结构图xi…12inw12wn2wn1w…i1wi2w1ninww2nw2iw1iw1w211i1n121(状态）(阈值）ni（连接权值）8.4.1离散Hopfield神经网络561.离散Hopfield神经网络模型网络结构：nxi(k1)f(wijxj(k)i)j1注：ii0wiwin…1s0s0f(s)11s00s0f(s)或wi1x1xnff(())8.4.1离散Hopfield神经网络-11.离散Hopfield神经网络模型连接权阈值输入输出关系：xix(k1)f(Wx(k)),i57Tn2]x[x1xx]θ[T2n1nf(s)]Tf(s)[f(s1)f(s2)W[wij]nn工作方式：异步（串行）方式:同步（并行）方式:nj1xj(k1)xj(k),jixi(k1)f(wijxj(k)i)8.4.1离散Hopfield神经网络1.离散Hopfield神经网络模型nxi(k1)f(wijxj(k)i),ij1x(k1)f(Wx(k)),i58（异步或同步方式）21nx(0),,x(0)T初态：x(0)[x(0),limx(k)k稳态：8.4.1离散Hopfield神经网络591.离散Hopfield神经网络模型工作过程：（异步或同步方式）初态记忆样本的部分信息稳态记忆样本联想记忆608.4.1离散Hopfield神经网络1.离散Hopfield神经网络模型工作过程：即这些稳定状态可以状态开始运动，总可以到某通过改变网络参数得到。点或吸引子。Hopfield神经网络是高维非线性系统，可能有许多稳定优态。从任何初始个稳定状态。x(k)f(Wx(k))x(k1)618.4.1离散Hopfield神经网络xf(wx2.网络的稳定性稳定性定义：若从某一时刻开始，网络中所有神经元的状态不再改变，，)则称该网络是稳定的，为网x络的稳定8.4.1离散Hopfield神经网络622.网络的稳定性稳定性定理证明：1983年，科恩（Cohen）、葛劳斯伯格（S.Grossberg）。稳定性定理（Hopfield）串行稳定性——W：对称阵并行稳定性——W：非负定对称阵8.4Hopfield神经网络及其改进1.离散型Hopfield神经网络2.连续型Hopfield神经网络及其VLSI实现638.4.2连续型Hopfield神经网络及其VLSI实现64连续Hopfield神经网络模型网络的稳定性应用举例8.4.2连续型Hopfield神经网络及其VLSI实现1.连续Hopfield神经网络模型658.4.2连续型Hopfield神经网络及其VLSI实现1.连续Hopfield神经网络模型f(.)v1vnRi1v2Ri2RinIiRiuiCiRvi...niuidtduiIiwijvjj1CiR'iindtduIiRiuvjuiiCiivf(u)j1RijijijnRR'iRi1w111j1Rij166u01[1tanh(ui)]2u01evif(ui)2ui8.4.2连续型Hopfield神经网络及其VLSI实现2.网络的稳定性计算能量函数：的连续函数，Ci>0,wij=wji,则定理：对于连续型Hopfield神经网络，若f1()为单调递增ninnnijijwvvviIiEi1vi01i1i1j1f(v)dvR'112dtdE0；当且仅当dt67dvi0，（1in)时0dtdE8.4.3随机神经网络68Hopfield神经网络中，神经元状态为1是根据其输入是否大于阈值确定的，是确定性的。随机神经网络中，神经元状态为1是随机的，服从一定的概率分布。例如，服从玻尔兹曼(Boltzmann)、高斯(Gaussian)、柯西(Cauchy)分布等，从而构成玻尔兹曼机、高斯机、柯西机等随机机。8.4.3随机神经网络691.Boltzmann机1985年，加拿大多伦多大学教授欣顿(Hinton)等人借助统计物理学的概念和方法，提出了Boltzmann机神经网络模型。Boltzmann机是离散Hopfield神经网络的一种变型，通过对离散Hopfield神经网络加以扰动，使其以概率的形式表达，而网络的模型方程不变，只是输出值类似于Boltzmann分布以概率分布取值。Boltzmann机是按Boltzmann概率分布动作的神经网络。8.4.3随机神经网络nni701...