切比雪夫正交基神经网络的权值直接确定法VIP免费

基金项目:中国国家自然科学基金(60643004)、中山大学科研启动费和后备重点课题。收稿日期:2007-11-11修回日期:2007-11-30第26卷第1期计算机仿真2009年1月文章编号:1006-9348(2009)01-0157-05切比雪夫正交基神经网络的权值直接确定法张雨浓,李巍,蔡炳煌,李克讷(中山大学电子与通信工程系,广东广州510275)摘要:经典的BP神经网络学习算法是基于误差回传的思想。而对于特定的网络模型,采用伪逆思想可以直接确定权值进而避免以往的反复迭代修正的过程。根据多项式插值和逼近理论构造一个切比雪夫正交基神经网络,其模型采用三层结构并以一组切比雪夫正交多项式函数作为隐层神经元的激励函数。依据误差回传(BP)思想可以推导出该网络模型的权值修正迭代公式,利用该公式迭代训练可得到网络的最优权值。区别于这种经典的做法,针对切比雪夫正交基神经网络模型,提出了一种基于伪逆的权值直接确定法,从而避免了传统方法通过反复迭代才能得到网络权值的冗长训练过程。仿真结果表明该方法具有更快的计算速度和至少相同的工作精度,从而验证了其优越性。关键词:切比雪夫正交多项式;人工神经网络;激励函数;权值修正公式;权值一步确定;伪逆中图分类号:TP183文献标识码:AAChebyshevOrthogonalBasisNeuralNetworkwithDirectWeightDeterminationZHANGYu-nong,LIWe,iCAIBing-huang,LIKe-ne(DepartmentofElectronicsandCommunicationEngineering,SunYat-SenUniversity,GuangzhouGuangdong510275,China)ABSTRACT:StandardBPneuralnetworkisbasedontheerrorback-propagationmethod.Foraspecialneuralne-tworkmode,ltheweightscouldbedetermineddirectlywithoutlengthyiterativeupdatingbyusingapseudo-inversemethod.Basedonpolynomialinterpolationandapproximationtheory,aChebyshevorthogonalbasisneuralnetworkisconstructedinthispaper.Themodeladoptsathree-layerstructure,wherethehidden-layerneuronsareactivatedbyagroupofChebyshevorthogonalpolynomialfunctions.TheweightupdatingformulaisderivedbyfollowingthestandardBPtrainingmethod.Moreimportantly,thepseudo-inversebasedmethodisthenproposed,whichcouldimmediatelydeterminetheneural-networkweights.Computersimulationresultsshowthattheone-stepweight-determinationmethodcouldbemoreefficientthantheconventionalBPiterative-trainingmethod,inadditiontotheequally-highworking-precisionatleast,whichrevealsitsadvantages.KEYWORDS:Chebyshevorthogonalpolynomials;Artificialneuralnetworks;Activationfunctions;Weight-updatingformula;One-stepweight-determination;Pseudo-inverse1引言人工神经网络因其高度的并行性、分布式存储、自适应自学习能力等显著的特点,在人工智能、模式识别、信号处理和机器人及其非线性控制等领域有着广泛的应用[1-3]。我们也曾利用神经网络开展过科学计算工作如矩阵方程求解和矩阵实时求逆等[4-5]。在实际应用中,很多人工神经网络模型是采用基于误差回传(BackPropagation,即BP)的神经网络及其变形体,它们可以说是应用最广泛也最重要的网络模型之一。经典的BP神经网络存在着诸如收敛速度慢和易陷入局部极小点等缺点,因此很多改进算法得以提出。它们大体上可以分为两类[6-7]:¹基于标准梯度下降法的改进(如加动量项),º基于数值优化方法的改进(如采用拟牛顿法或LM算法等),这些改进多是着眼于学习算法本身,即通过改进网络训练的迭代规则来提高神经网络的性能。不同的是,本文期望通过改进网络的结构定义和激励函数来解决收敛速度慢和局部极小点问题。因此构造了一种切比雪夫正交基神经网络,其隐层神经元的激励函数为一组切比雪夫正交多项式函数。该神经网络不仅结构简单,而且对于这种特殊的网络模型,本文进一步提出了一种基于伪逆)157)的权值直接确定法,从而避免了传统BP算法的冗长迭代过程。值得指出的是,该神经网络的隐层神经元权值可以通过BP算法反复迭代训练而获得,也可以利用本文提出的基于伪逆思想的权值直接确定法而得到。仿真结果显示基于伪逆的权值直接确定法不仅具有更快的计算速度,而且...