WORD 版本BP 神经网络算法三层 BP 神经网络如图：设网络的输入模式为 x 二（x,x，…X）T，隐含层有 h 个单元，隐含层的输出为12ny 二（y,y，…y）T，输出层有 m 个单元，他们的输出为 z 二（z,z，…z）T，目标输出为12h12mt 二（t,t,
,t）T 设隐含层到输出层的传递函数为 f，输出层的传递函数为 g12m于是：y 二 f（工 wx-0）二 f（工wx）:隐含层第 j 个神经元的输出；其中 jijiijii=1i=0目标输出向量传递函数 g输出层，输出向量传递函数 f隐含层，隐含层输出向量权值为 wij输入层，输入向量WORD 版本W=—0,x=10j0z=g（工 Wy）:输出层第 k 个神经元的输出kjkjj=0此时网络输出与目标输出的误差为£=迟（t—z）2,显然，它是 w 和 w的函数
2kkijjkk=1下面的步骤就是想办法调整权值，使£减小
由高等数学的知识知道：负梯度方向是函数值减小最快的方向因此，可以设定一个步长 H，每次沿负梯度方向调整 H 个单位，即每次权值的调整为：WORD 版本2迟(t-z)2Os2kk=k=1—OwOwjkjk复合函数偏导公式-迟(t-z)2a2kkOzOvk=kk-OvOw■k=iOzk=-(tk-zk)g'(vk)yj若取 g(x)=f(x)=1e一，则gW)=11(1-)=z(1-z)1+e-vk1+e-vkkkOsOw-迟(t-z)22kkk=^-Ow-迟(t-z)22k/k=^~其中 u 为隐含层第 j 个神经元的输入：u=工wxijii=0Os 因此Oyj于是：另 O(tk-zk)2乞翌=-另(t-z)f'(u)wOuOykkkjkkjk=0k=Oz1迟（tOs2k=k=1 严OwOw-zk)2Aw=-n，耳在神经网络中称为学习速率pqowpq可以证明：按这个方
