RBF神经网络剖析VIP免费

RBF（径向基）神经网络Keynote:尤志强1、RBF函数是为了解决多变量插值问题2、RBF神经网络是为了解决非线性可分模式分类问题为什么要引入RBF神经网络？优点①它具有唯一最佳逼近的特性，且无BP算法中存在的局部极小问题。②RBF神经网络具有较强的输入和输出映射功能，并且理论证明在前向网络中RBF网络是完成映射功能的最优网络。③网络连接权值与输出呈线性关系。④分类能力好。⑤学习过程收敛速度快。与BP神经网络的比较Poggio和Girosi已经证明：RBF网络是连续函数的最佳逼近，而BP网络不是。BP网络使用的Sigmoid函数具有全局特性，它在输入值的很大范围内每个节点都对输出值产生影响，并且激励函数在输入值的很大范围内相互重叠，因而相互影响，因此BP网络训练过程很长。BP网络容易陷入局部极小的问题不可能从根本上避免BP网络隐层节点数目的确定依赖于经验和试凑，很难得到最优网络。RBF不仅有良好的泛化能力，而且对于每个输入值，只有很少几个节点具有非零激励值，因此只需很少部分节点及权值改变。学习速度可以比通常的BP算法提高上千倍,容易适应新数据RBF神经网络是怎样的？RBF神经网络概念1、1985年，Powell提出了多变量插值的径向基函数(RadicalBasisFunction，RBF)方法2、1988年，Moody和Darken提出了一种神经网络结构，即RBF神经网络3、RBF网络是一种三层前向网络4、基于“Cover理论”5、用RBF作为隐单元的“基”构成隐含层空间，将输入矢量直接(即不需要通过权连接)映射到隐空间；当RBF的中心点确定后，映射关系也就确定；隐含层空间到输出空间的映射是线性的通过最小二乘估计来解给定的分类问题。Cover理论定义：假设空间不是稠密分布的，将复杂的模式分类问题非线性地投射到高维空间将比投射到低微空间更可能是线性可分的。x=0Cover理论在RBF网络中应用考虑一族曲面，每一个曲面都自然地将输入空间分成两个区域。用代表N个模式（向量）x1,x2,……xN的集合，其中每一个模式都分属于两个类1和2中的一类。如果在这一族曲面中存在一个曲面能够将分别属于1和2的这些点分成两部分，我们就称这些点事二分（二元划分）关于这族曲面是可分的。对于每一个模式x，定义一个由一组实值函数{ⱷi(x)|i=1,2,…..m1}组成的向量，表示如下：假设模式x是m0维输入空间的一个向量，则向量考虑一族曲面，每一个曲面都自然地将输入空间分成两个区域。用代表N个模式（向量）x1,x2,……xN的集合，其中每一个模式都分属于两个类1和2中的一类。如果在这一族曲面中存在一个曲面能够将分别属于1和2的这些点分成两部分，我们就称这些点事二分（二元划分）关于这族曲面是可分的。对于每一个模式x，定义一个由一组实值函数{ⱷi(x)|i=1,2,…..m1}组成的向量，表示如下：假设模式x是m0维输入空间的一个向量，则向量Cover理论在RBF网络中应用一个关于的二分{1，2}是可分的。那么存在一个m1维的向量w使得可以得到如下公式（Cover，1965）：那么所获得的超平面的逆像就是：总结：模式可分性的cover定理1、由2、高维数的隐藏空间，这里的高维数是相对于输入空间而言的。维数由赋给m1的值（即隐藏单元的个数）决定。3、理论证明（Nilsson，1965）证明：隐藏空间的维数m1越高，则二分概率越趋向于1注意：虽然说将一个复杂的模式分类问题非线性地投射到高维数空间将会比投射到低维数空间更可能线性可分。不过有时非线性映射就足够导致线性可分，而不必升高隐藏单元空间维数XOR问题XOR问题R2(X)X1∑输入径向基神经元输出000010001111yx2x1212211221()10()0xxRxeRxeX2R1(X)y10.13530.36790.3679R1(X)1000.3679100.3679010.135311R2(X)x2x12122211211(1)(1)1()0.3679xxxxRxeex2x1R(x2)R(x1)1101100.36790.1353空间变换前空间变换后RBF神经网络的插值问题RBF神经网络是基于RBF函数，RBF函数是解决多变量插值问题首先了解下什么是插值问题？插值问题在工程技术上，给出一批离散的点，要求作出一条通过这些点的光滑曲线，以满足设计和加工的需要。反映在数学上，即已知函数在一些点的值，寻求它的分析表达式。ox0x1x2xny0y1y2yixiynY(x)...