BP神经网络原理

BP 神经网络原理 2.1 基本BP 算法公式推导 基本BP 算法包括两个方面：信号的前向传播和误差的反向传播。即计算实际输出时按从输入到输出的方向进行，而权值和阈值的修正从输出到输入的方向进行。 图 2-1 BP 网络结构 Fig.2-1 Structure of BP netw ork 图中：jx 表示输入层第 j 个节点的输入，j=1,… ,M； ijw 表示隐含层第 i 个节点到输入层第 j 个节点之间的权值； i 表示隐含层第 i 个节点的阈值； ( )x表示隐含层的激励函数； kiw 表示输出层第 k 个节点到隐含层第 i 个节点之间的权值，i=1,… ,q； ka 表示输出层第 k 个节点的阈值,k=1,… ,L；  x表示输出层的激励函数； ko表示输出层第 k 个节点的输出。 （1）信号的前向传播过程 隐含层第 i 个节点的输入 neti： 1a 1 kiw ijw La ka q i … … … … … … 1x jx Mx 1o ko Lo 输出变量 输入变量 输入层 隐含层 输出层 1Miijjijnetw x （3-1） 隐含层第i 个节点的输出yi： 1()()Miiijjijynetw x （3-2） 输出层第k 个节点的输入netk： 111()qqMkkiikkiijjikiijnetw yaww xa （3-3） 输出层第k 个节点的输出ok： 111()()()qqMkkkiikkiijjikiijonetw yaww xa （3-4） （2）误差的反向传播过程 误差的反向传播，即首先由输出层开始逐层计算各层神经元的输出误差，然后根据误差梯度下降法来调节各层的权值和阈值，使修改后的网络的最终输出能接近期望值。 对于每一个样本 p 的二次型误差准则函数为 Ep： 211()2LpkkkETo （3-5） 系统对 P 个训练样本的总误差准则函数为： 2111()2PLppkkpkETo （3-6） 根据误差梯度下降法依次修正输出层权值的修正量 Δwki，输出层阈值的修正量Δak，隐含层权值的修正量 Δwij，隐含层阈值的修正量i。 kikiwEw；kkEaa   ；ijijEww   ；iiE    （3-7） 输出层权值调整公式： kikkkkkikkkikiwnetnetooEwnetnetEwEw （3-8） 输出层阈值调整公式： kkkkkkkkkknetonetEEEaanetaoneta    （3-9） 隐含层权值调...