神经网络2010VIP专享VIP免费

神经网络控制电信学院周强第一章引言人工神经网络的简介人工神经网络的发展历史人工神经元的模型人工神经网络的结构与学习规则人工神经网络的应用1.1人工神经网络的简介人工神经网络（ArtificialNeuralNetwork，ANN）即，神经网络（NeuralNetwork，NN）是由大量处理单元（神经元Neurons）互连而成的网络，是对人脑的抽象、简化和模拟（即智能化），模仿人脑信息处理的功能。涉及神经科学、数学、统计学、计算机科学的一门学科。神经网络属于控制科学的范畴。经典控制——现代控制理论——大系统和智能控制1992年世界数学家大会神经网络模糊控制仿人控制遗传算法蚁群算法内分泌算法免疫算法智能控制神经网络：最早、理论性最强、最深奥；目前的研究已经饱和；笨办法；模糊控制：理论较简单，模糊数学抽象出模糊化；应用很成功。由于其简化作用，特别适合在处理能力有限的处理器中使用，家用电气、导弹；仿人控制：对成功经验的数学化和固化，范围有限遗传算法：对生物进化学的模仿，个体随机性和统计规律性的结合，理论上很巧妙，但应用范围也有限，目前仅仅适合于优化。特点：*并行运算（每个神经元都在独立的运算）*自学习能力很强*非线性处理能力（这源于神经网络的每一块砖都是非线性的，如S型函数）因此，神经网络具有能力：1、获取信息2、储存信息。1.2人工神经网络发展历史20世纪40年代开始，经历兴起、萧条、兴盛3个阶段。1、兴起阶段（1943-1970）1943神经病学和神经解剖学家McCulloch数学家Pitts#在总结神经元一些生理特性的基础上，提出神经元的数学模型，MP模型。#证明了：数量众多的神经元网络可以能计算任何可计算的函数。#NN的兴起，同时也是人工智能（ArtificialIntelligence，AI）这一学科。1949年，生物学家D.O.Hebb提出改变NN连接强度的Hebb规则。1957年，Neumann提出感知器（Perceptron）的概念，并于次年将神经网络首次应用于工程实践。感知器可应用于模式识别和联想记忆等方面。1960年，Widrow和Hoff引入最小均方差（LeastMean-Square，LMS）算法，用于阐述感知器与自适应线性元件之间选练差异的标准。2.萧条阶段（1970-1980）导致十年低谷的原因包括：1、技术上的：计算机技术支持不够；2、信心上的：资金悲观情绪这个阶段的标志，1969年麻省理工学院著名的人工智能专家M.Minsky和S.Papert共同出版了专著《感知器》指出单层感知器无法解决非线性问题，线性问题需要由多层感知器来解决，而感知器模型扩展到多层是否有意义，尚不能从理论上得到证明。当时计算机水平低，人们都去研究人工智能和专家系统了。这一时期的研究成果也不够显著、值得一提的是1977年Anderson等提出的黑箱脑状态(Brain-state-in-a-Box)模型。不必关心它的参数，只关心输入-输出。3兴盛阶段（1980-1982年美国生物物理学家Hophield提出反馈神经网络(Hophield网络)，标志着兴盛阶段的到来。1998年，Broom和Lowe提出了径向基神经网络（RBF）。径向基神经网络具有对训练样本具有预处理的能力。是对BP网络的一大进步。90年代初，支持向量基（ＳＶＭ）。径向基神经网络和支持向量基都会在本课程中介绍。神经网络的应用及研究方向理论研究分为：利用神经生理与认知科学研究大脑思维即智能机理；（作为大脑的仿真研究手段）利用神经科学基础理论的研究成果，用数理方法探索智能水平更高的人工神经网络模型，深入研究网络的算法与性能（稳定性、收敛性、容错性、鲁棒性等），开发新的网络数理理论（神经网络动力学、非线性神经场）。应用研究包括两类：神经网络的软件模拟和硬件实现的研究；神经网络在各个领域中的应用研究，这些领域包括：模式识别、信号处理、知识工程、专家系统、优化组合、智能控制等。1.3人工神经元的模型1.3.1生物神经元模型结构特点：轴突（神经纤维）很长（输出冲动）、树突接受冲动，突出连接２者（体现出连接权值），细胞膜内外有电位差（内高外低）40-100mV。工作：突出转换（放大或缩小）神经冲动，由树突输入到细胞膜，如果大于细胞膜电压，则使得细胞兴奋，产生神经冲动，由轴突输出。1.3.２人工神经元网络模型输入信号是xi，总输入为uibi是阈值,除了阈值...