5.4 BP 神 经 网 络 的 基 本 原 理 BP（ Back Propagation） 网 络 是 1986 年 由 Rinehart 和McClelland 为 首 的 科 学 家 小 组 提 出 ，是 一 种 按 误 差 逆 传 播 算法 训 练 的 多 层 前 馈 网 络 ， 是 目 前 应 用 最 广 泛 的 神 经 网 络 模 型之 一 。BP 网 络 能 学 习 和 存 贮 大 量 的 输 入 -输 出 模 式 映 射 关 系 ，而 无 需 事 前 揭 示 描 述 这 种 映 射 关 系 的 数 学 方 程 。 它 的 学 习 规则 是 使 用 最 速 下 降 法 ， 通 过 反 向 传 播 来 不 断 调 整 网 络 的 权 值和 阈 值 ， 使 网 络 的 误 差 平 方 和 最 小 。 BP 神 经 网 络 模 型 拓 扑 结构 包 括 输 入 层 （ input） 、 隐 层 (hide layer)和 输 出 层 (output layer)（ 如 图 5.2 所 示 ） 。 5.4.1 BP 神 经 元 图 5.3 给 出 了 第 j 个 基 本 BP 神 经 元 （ 节 点 ） ， 它 只 模 仿 了 生 物 神 经 元 所 具 有 的 三 个 最 基 本也 是 最 重 要 的 功 能 ： 加 权 、 求 和 与转移。 其中x1、 x2…xi…xn分别代表来 自神 经 元 1、 2…i…n的 输 入 ；wj1、 wj2…wji…wjn则 分别表示 神 经 元 1、 2…i…n 与第 j 个 神 经 元 的 连接强度， 即权值 ；bj为 阈 值 ；f(·)为 传 递函数 ；yj为 第 j 个 神 经 元 的 输 出 。 第 j 个 神 经 元 的 净输 入 值为 ： （ 5.12） 其中： 若视，， 即令及包 括及， 则 于是节点j 的净输入可表示为： （5.13） 净输入通过传递函数（Transfer Function）f (·)后，便得到第 j 个神经元的输出: （5.14） 式中 f(·)是单调上升函数，而且必须是有界函数，因为细胞传递的信号不可能无限增加，必有一最大值。 5.4.2 BP 网络 BP 算法由数据流的前向计算（正向传播）和误差信号的反向传播两个过程构成。正向传播时，传播方向为输入层→隐层→输出层，每层神经元的状态只影响下一层神经元。若在输出层得不到期望的输出，则转向误差信号的反向传播流程。通过这两个过程的交替进行，在权向量空间执行误差函数梯度下降策略，动态迭代搜索一组权向量，使网络误差...
