算法五：神经网络(优化算法) 人工神经网络(ANN)，简称神经网络，是一种模仿生物神经网络的结构和功能的数学模型或计算模型。神经网络由大量的人工神经元联结进行计算。大多数情况下人工神经网络能在外界信息的基础上改变内部结构，是一种自适应系统。现代神经网络是一种非线性统计性数据建模工具，常用来对输入和输出间复杂的关系进行建模，或用来探索数据的模式。 人工神经网络从以下四个方面去模拟人的智能行为: 物理结构：人工神经元将模拟生物神经元的功能 计算模拟：人脑的神经元有局部计算和存储的功能，通过连接构成一个系统。人工神经网络中也有大量有局部处理能力的神经元，也能够将信息进行大规模并行处理 存储与操作：人脑和人工神经网络都是通过神经元的连接强度来实现记忆存储功能，同时为概括、类比、推广提供有力的支持 训练：同人脑一样，人工神经网络将根据自己的结构特性，使用不同的训练、学习过程，自动从实践中获得相关知识 神经网络是一种运算模型，由大量的节点(或称“神经元”，或“单元”)和之间相互联接构成。每个节点代表一种特定的输出函数， 称为激励函数。每两个节点间的连接都代表一个对于通过该连接信号的加权值， 称之为权重，这相当于人工神经网络的记忆。网络的输出则依网络的连接方式，权重值和激励函数的不同而不同。而网络自身通常都是对自然界某种算法或者函数的逼近，也可能是对一种逻辑策略的表达。 一、感知器 感知器相当于神经网络的一个单层，由一个线性组合器和一个二值阈值原件构成： 构成ANN系统的单层感知器： 感知器以一个实数值向量作为输入，计算这些输入的线性组合，如果结果大于某个阈值，就输出1，否则输出‐1。 感知器函数可写为：sign(w*x)有时可加入偏置 b，写为 sign(w*x+b) 学习一个感知器意味着选择权 w0,„,wn的值。所以感知器学习要考虑的候选假设空间 H就是所有可能的实数值权向量的集合 算法训练步骤： 1、定义变量与参数 x(输入向量),w(权值向量),b(偏置),y(实际输出),d(期望输出),a(学习率参数) 2、初始化，n=0,w=0 3、输入训练样本，对每个训练样本指定其期望输出：A类记为 1，B类记为-1 4、计算实际输出 y=sign(w*x+b) 5、更新权值向量 w(n+1)=w(n)+a[d-y(n)]*x(n),0 6、判断，若满足收敛条件，算法结束，否则返回 3 注意，其中学习率 a为了权值的稳定性不应过大，为了体现误差对权值的修正不应过小，说到底，这是个经验问题。 从前面的叙...
