人工神经网络是一种模仿人脑结构及其功能的信息处理系统，能提高人们对信息处理的智能化水平
它是一门新兴的边缘和交叉学科，它在理论、模型、算法等方面比起以前有了较大的发展，但至今无根本性的突破，还有很多空白点需要努力探索和研究
1 人工神经网络研究背景 神经网络的研究包括神经网络基本理论、网络学习算法、网络模型以及网络应用等方面
其中比较热门的一个课题就是神经网络学习算法的研究
近年来己研究出许多与神经网络模型相对应的神经网络学习算法，这些算法大致可以分为三类：有监督学习、无监督学习和增强学习
在理论上和实际应用中都比较成熟的算法有以下三种： (1) 误差反向传播算法(Back Propagation，简称 BP 算法)； (2) 模拟退火算法； (3) 竞争学习算法
目前为止，在训练多层前向神经网络的算法中，BP 算法是最有影响的算法之一
但这种算法存在不少缺点，诸如收敛速度比较慢，或者只求得了局部极小点等等
因此，近年来，国外许多专家对网络算法进行深入研究，提出了许多改进的方法
主要有： (1) 增加动量法：在网络权值的调整公式中增加一动量项，该动量项对某一时刻的调整起阻尼作用
它可以在误差曲面出现骤然起伏时，减小振荡的趋势，提高网络训练速度； (2) 自适应调节学习率：在训练中自适应地改变学习率，使其该大时增大，该小时减小
使用动态学习率，从而加快算法的收敛速度； (3) 引入陡度因子：为了提高 BP 算法的收敛速度，在权值调整进入误差曲面的平坦区时，引入陡度因子，设法压缩神经元的净输入，使权值调整脱离平坦区
此外，很多国内的学者也做了不少有关网络算法改进方面的研究，并把改进的算法运用到实际中，取得了一定的成果： (1) 王晓敏等提出了一种基于改进的差分进化算法，利用差分进化算法的全局寻优能力，能够快速地得到 BP 神经网络的权值，提高算法的速度； (2) 董国
