BP神经网络的基本原理+很清楚VIP专享

5。4 BP 神经网络的基本原理BP(Back Propagation)网络是 1986 年由 Rinehart 和McClelland 为首的科学家小组提出,是一种按误差逆传播算法训练的多层前馈网络，是目前应用最广泛的神经网络模型之一。BP 网络能学习和存贮大量的输入—输出模式映射关系,而无需事前揭示描述这种映射关系的数学方程。它的学习规则是使用最速下降法，通过反向传播来不断调整网络的权值和阈值，使网络的误差平方和最小。BP神经网络模型拓扑结构包括输入层（input）、隐层（hide layer）和输出层（output layer)（如图 5.2 所示）。5.4。1 BP 神经元图 5.3 给出了第 j 个基本 BP 神经元(节点），它只模仿了生物神经元所具有的三个最基本也是最重要的功能:加权、求和与转移。其中 x1、x2…xi…xn分别代表来自神经元 1、2…i…n 的输入；wj1、wj2…wji…wjn则分别表示神经元 1、2…i…n 与第 j 个神经元的连接强度，即权值;bj为阈值；f(·)为传递函数；yj为第 j 个神经元的输出.第 j 个神经元的净输入值为： (5。12)其中： 若视，，即令及包括及，则 于是节点 j 的净输入可表示为： （5。13) 净输入通过传递函数（Transfer Function）f (·）后，便得到第 j 个神经元的输出： (5.14）式中 f（·）是单调上升函数，而且必须是有界函数，因为细胞传递的信号不可能无限增加，必有一最大值。5。4。2 BP 网络BP 算法由数据流的前向计算(正向传播）和误差信号的反向传播两个过程构成.正向传播时，传播方向为输入层→隐层→输出层,每层神经元的状态只影响下一层神经元.若在输出层得不到期望的输出，则转向误差信号的反向传播流程。通过这两个过程的交替进行，在权向量空间执行误差函数梯度下降策略，动态迭代搜索一组权向量，使网络误差函数达到最小值，从而完成信息提取和记忆过程。5.4。2.1 正向传播设 BP 网络的输入层有 n 个节点，隐层有 q 个节点，输出层有 m 个节点,输入层与隐层之间的权值为，隐层与输出层之间的权值为，如图 5.4 所示。隐层的传递函数为 f1（·），输出层的传递函数为 f2(·），则隐层节点的输出为（将阈值写入求和项中)： k=1，2，……q （5。15）输出层节点的输出为： j=1，2，……m (5。16）至此 B—P 网络就完成了 n 维空间向量对 m 维空间的近似映射。5。4。2.2 反向传播1) 定义误差函数输入个学习样本，用来表示。第个样本输入到网络后得到输出（j=1，2，…m)。采纳平方型...