1第3讲人工神经网络欧阳柳波2/65人工神经网络的进展初创阶段（二十世纪四十年代至六十年代）:1943年，美国心理学家W.S.Mcculloch和数理逻辑学家和数理逻辑学家W.Pitts提出了神经元的数学模型，即MP（Mcculloch-Pitts）模型以数学逻辑为研究手段，探讨了客观事件在神经网络的形式问题1960年，威德罗和霍夫率先把神经网络用于自动控制研究。过渡阶段（二十世纪六十年代初至七十年代）M.Minsky和S.Papert于1969年出版《PerceptronPerceptron》从理论上证明了以单层感知机为代表的网络系统在某些能力方面的局限性。60年代末期至80年代中期，神经网络控制与神经网络进入低潮3/65人工神经网络的进展(续)高潮阶段（二十世纪八十年代）1982和1984年，美国加州理工学院的生物物理学J.J.Hopfield在美国科学院院刊发表的两篇文章，有力地推动了人工神经网络的研究与应用，并引发了研究神经网络的一次热潮。80年代后期以来，随着人工神经网络研究的复苏和发展，对神经网络控制的研究也十分活跃。研究进展主要在神经网络自适应控制和模糊神经网络控制及其在机器人控制中的应用上。平稳发展阶段（二十世纪九十年代以后）和相关学科交叉融合4/65ANN人工神经网络概述基本原理前向型神经网络自组织竞争神经网络神经网络的应用与人工智能原理的结合BP神经网络5/65概述什么叫人工神经网络采用物理可实现的系统来模仿人脑神经细胞的结构和功能的系统。为什么要研究神经网络用计算机代替人的脑力劳动。计算机速度为纳秒级，人脑细胞反应时间是毫秒级。而计算机不如人。长期以来人类的梦想，机器既能超越人的计算能力，又有类似于人的识别、分析、联想等能力。6/65概述人工智能与神经网络共同之处：研究怎样使用计算机来模仿人脑工作过程，学习——实践——再学习——再实践。不同之处：人工智能研究人脑的推理、学习、思考、规划等思维活动，解决需人类专家才能处理的复杂问题。神经网络企图阐明人脑结构及其功能，以及一些相关学习、联想记忆的基本规则（联想、概括、并行搜索、学习和灵活性）7/65例如：人工智能专家系统是制造一个专家，几十年难以培养的专家。神经网络是制造一个婴儿，一个幼儿，一个可以学习，不断完善，从一些自然知识中汲取智慧的生命成长过程。同样是模仿人脑，但所考虑的角度不同。成年人和婴儿学习过程不一样8/65概述人工智能神经网络研究目的人脑推理、学习、思考、规划等思维活动，解决需人类专家才能处理的复杂问题。阐明有关人脑结构及其功能以及相关学习、联想记忆的基本规律。研究内容推理方法、知识表示、机器学习生物的生理机制、信息的存储、传递、处理方式知识表示方法人懂→机器懂→人懂图像等→机器→图像等知识储存方式知识库中有事实和规则，随时添加而增大，一条出了毛病有可能出错。在网的结构之中，一条出问题不会触大错，网络结构不会随知识增加变化很大信息传递方式符号脉冲形式，以频率表示信息处理方式树、网等，一条一条执行，并行处理较难原理上是并行结构，与生物信息处理机制一致9/65ANN人工神经网络概述基本原理前向型神经网络自组织竞争神经网络神经网络的应用与人工智能原理的结合BP神经网络10/65基本原理11/6512/6513/65生物神经元细胞核细胞质树突突触来自其他细胞细胞膜轴突神经末梢神经元由细胞体、细胞体、树突树突和轴突轴突组成。细胞体是神经元的主体,它由细胞核、细胞质和细胞膜三部分构成.从细胞体向外延伸出许多突起,其中大部分突起呈树状,称为树突.树突起感受作用,接受来自其他神经元的传递信号.由细胞体伸出的一条最长的突起,用来传出细胞体产生的输出信号,称之为轴突;轴突末端形成许多细的分枝,叫做神经末梢;每一条神经末梢可以与其他神经元形成功能性接触,该接触部位称为突触。所谓功能性接触是指非永久性接触,它是神经元之间信息传递的奥秘之处。14/65一个神经元把来自不同树突的兴奋性或抑制性输入信号(突触后膜电位)累加求和的过程，称为整合。考虑到输入信号的影响要持续一段时间(毫秒级),因此,神经元的整合功能是一种时空整合...
