第2部分:BP神经网络主要内容一.人工神经网络基本知识生物神经网络、生物神经元人工神经网络、人工神经元人工神经网络三要素典型激活函数神经网络几种典型形式二.前馈神经网络、多层感知器、及非线性分类三.BP神经网络四.数据处理及神经网络结构的选择五.应用人工神经网络是生物神经网络的某种模型(数学模型)是对生物神经网络的模仿基本处理单元为人工神经元1.生物神经系统与生物神经元大量生物神经元的广泛、复杂连接,形成生物神经网络(BiologicalNeuralNetwork,BNN)。实现各种智能活动生物神经元(neuron)是基本的信息处理单元(1)生物神经系统生物神经元(neuron)是基本的信息处理单元,其组成:树突(dendrites),接收来自外接的信息细胞体(cellbody),神经细胞主体,信息加工轴突(axon),细胞的输出装置,将信号向外传递,与多个神经元连接突触(synapsse),神经元经突触向其它神经元(胞体或树突)传递信号(2)生物神经元的基本特征神经元之间彼此连接神经元之间的连接强度决定信号传递的强弱神经元之间的连接强度可以随训练改变学习、遗忘、疲劳----神经网络中各神经元之间连接的强弱,按外部的激励信号做自适应变化兴奋与抑制信号可以起兴奋作用,也可以起抑制作用一个神经元接受信号的累积效果(综合大小,代数和)决定该神经元的状态(兴奋、抑制)每个神经元可以有一个“阈值”是对的模拟。大量简单的以某种形式连接,形成一个.其中某些因素,如:连接连接,其大小决定信号传递强弱);,神经元的输入输出特性);甚至等,可依某种规则随外部数据进人工神经网络计算单元(结点,神经元)网络强度行适当调整,最终实现某种功能。(权值结点神经网络计算特性(激活特性网络结的计算通过网络结构实现;生物神经构系统不同网络结构可以体现各种不同的功能;网络结构的是通过逐渐参数学习修正的。2.人工神经网络与人工神经元(1)基本的人工神经元模型McCulloch-Pitts神经元模型输入信号;链接强度与权向量;信号累积激活与抑制00权值,激活连接权值,突触连接强度权值,抑制输入信号关于神经元突触的线性加权将神经元的输出信号限制在有限范围内一组连接一个加法器一个激励函数人工神经元模型的三要素:,...,,...,1n1ni=xx=,维输入向量是来自其它个神经元的输出;也可以是来自外部的输入信号维权向量相当于突触的连接强度。TTnxxnnWR输入信号权向量1()iinetxynet单调增函数,通常为"非线性函数"网络输入--神经元的输入兴奋总量是多个输入的代数和其中输出标量--执行该神经元所获得的网络输入的变换niWxf转移函数,激励激活函数传输函数,输出函数,限幅函数将可能的无线域变换到指定的有限范围输出。--单输出()传递函数(1)基本的人工神经元模型1()iinetbpbynet若带偏置量,则有标量niWpf--单输出()(2)输出函数f0,fnet=knet+cnetfnetnetnetnet:为常数,称饱和值,是该神经单元的最大输出;输出函数值限制在范围内。(RampFunction)bkbbbbA.线性函数B.非线性斜数函面(2)几种常见形式的传递函数(激活函数)(2)输出函数f,,1net0fnet=sgnnet=-1net<0hardlimsnetfnet=-net<型函数,不可微;对称硬极限函数;双极函数函数其中非负实数signmatlabC.符号函数D.阈值函数(2)输出函数f210112()11.11netnetnetnetnetnetlogsignetnet一些重要的学习算法要求输出函数可微,值域,对数S型函数双曲函数:值域,函正切S数型函数netfematlabeeftheEsigmoidSeematlab函数型函数连续可微tansig:非线性,单调;无限次可微较小时(权值较小),可近似线性函数--高增益区处理小信号较大时(权值较大),可近似阈值函数.--低增益区处理大信号netnet()网络结构或拓扑(连接形式)神经元的计算特性传递函数学习规则上述要素不同组合,形成各种神经网络模型3.人工神经网络三个要素23...