(完整版)BP神经网络的基本原理_一看就懂VIP专享VIP免费

S5.2BP神经期络结构示育图2-5.4BP神经网络的基本原理BP(BackPropagation)网络是1986年由Rinehart和McClelland为首的科学家小组提出，是一种按误差逆传播算法训练的多层前馈网络，是目前应用最广泛的神经网络模型之一。BP网络能学习和存贮大量的输入-输出模式映射关系,而无需事前揭示描述这种映射关系的数学方程。它的学习规则是使用最速下降法，通过反向传播来不断调整网络的权值和阈值，使网络的误差平方和最小。BP神经网络模型拓扑结构包括输入层(input)、隐层(hidelayer)和输出层(outputlayer)(如图5.2所示)。5.4.1BP神经元图5.3给出了第j个基本BP神经元(节点)，它只模仿了生物神经元所具有的三个最基本也是最重要的功能：加权、求和与转移。其中x、x…乂…乂分别代表来自神经元1、2・・・i・・・n12in的输入；w、w•…•…则分别表示神经元1、2—i—n与第j个神经元的连接强度，即权j1j2jijn值；b为阈值；f(・)为传递函数；y为第j个神经元的输出。jj第j个神经元的净输入值6为:(5.12)隐输出ffl5.3BP神经元其中：忑“眄也…码…兀』若视心二-叫二气，即令図及眄包括坯及叽则(5.13于是节点j的净输入6可表示为:2-0净输入①通过传递函数(TransferFunction)f(■)后，便得到第j个神经元的输出儿:(5.14)式中f(・)是单调上升函数，而且必须是有界函数，因为细胞传递的信号不可能无限增加，必有一最大值。5.4.2BP网络BP算法由数据流的前向计算(正向传播)和误差信号的反向传播两个过程构成。正向传播时，传播方向为输入层一隐层一输出层，每层神经元的状态只影响下一层神经元。若在输出层得不到期望的输出，则转向误差信号的反向传播流程。通过这两个过程的交替进行，在权向量空间执行误差函数梯度下降策略，动态迭代搜索一组权向量，使网络误差函数达到最小值，从而完成信息提取和记忆过程。5.4.2.1正向传播设BP网络的输入层有n个节点，隐层有q个节点，输出层有m个节点，输入层与隐层之间的权值为叫，隐层与输出层之间的权值为叫，如图5.4所示。隐层的传递函数为f(・),1输出层的传递函数为f(・)，则隐层节点的输出为(将阈值写入求和项中)：2死二启迟％石)图5.斗三层神经郦音的拓扑结构j=l,2,m(5.162J：l输出层节点的输出为：打=応①吹J至此B-P网络就完成了n维空间向量对m维空间的近似映射。5.4.2.2反向传播1)定义误差函数输入尸个学习样本，用…宀•/来表示。第戸个样本输入到网络后得到输出//(j=1,2,・・・m)。采用平方型误差函数，于是得到第p个样本的误差E：p1M(5.17)式中：冷为期望输出。对于尸个样本，全局误差为：■iPMP(5.18)2)输出层权值的变化采用累计误差BP算法调整叫肌使全局误差耀变小，即dE(5.19)式中：^―学习率定义误差信号为:莎西(5.20)(5.22是输出层传递函数的偏微分。于是：mr编亠迟时-疔他（心）J-L由链定理得：氓込站，™叫込叫J-1于是输出层各神经元的权值调整公式为：(5.23(5.24PM（扛％=迟£加；-羽）N（■血JT-1/-I3）隐层权值的变化(5.25d?戸=-7—退)(5.26)(5.27)总_遇“退%■呱—耳込其中第一项：计算所得维持X昭不变减少ri（n=Y血）（n=B叮）图5.5自适应学习BP算法理论具有依据可靠、推导过程严谨、精度较高、通用性较好等优点，但标准BP算法存在以下缺点：收敛速度缓慢；容易陷入局部极小值；难以确定隐层数和隐层节点个数。在实际应用中，BP算法很难胜任，因此出现了很多改进算法。1）利用动量法改进BP算法标准BP算法实质上是一种简单的最速下降静态寻优方法，在修正W（K）时，只按照第K步的负梯度方向进行修正，而没有考虑到以前积累的经验，即以前时刻的梯度方向，从而常常使学习过程发生振荡，收敛缓慢。动量法权值调整算法的具体做法是：将上一次权值调整量的一部分迭加到按本次误差计算所得的权值调整量上，作为本次的实际权值调整量，即:占莊㈤二一甲V7?㈤+oAEF（用一1）（534）其中：a为动量系数，通常0VaV0.9；n—学习率，范围在0.001〜10之间。这种方法所加的动量因子实际上相当于阻尼项，它减小了学习过程中的振荡趋势，从而改善了收敛性。动量法降低了网络对于误差曲面局部细节的敏感性，有效的抑制了网络陷入局部极小。2）自适应调整学习速率标...