Rosenblatt感知器【第1章】戴非凡2017.10本章主要内容1.1引言1.2介绍Rosenblatt感知器的最基本形式1.3感知器收敛定理1.4建立高斯环境下感知器与贝叶斯分类器的关系及引入感知器代价函数1.5通过实验来说明感知器的模式分类能力1.6批量感知器算法1.1引言感知器是由一位心理学家Rosenblatt提出的作为有教师学习（即监督学习）的第一个模型。感知器也是第一个从算法上完整描述的神经网络。感知器是用于线性可分模式（即模式分别位于超平面所分隔开的两边）分类的最简单的神经网络模型。基本上它由一个具有可调突触权值和偏置的神经元组成。Rosenblatt证明了当用来训练感知器的模型（向量）取自两个线性可分的类时，感知器算法是收敛的，并且决策面是位于两类之间的超平面。算法的收敛性证明称为感知器收敛定理（1.3）。1.2Rosenblatt感知器基本形式Rosenblatt感知器建立在一个非线性神经元上，即神经元的McCulloch-Pitts模型。这种神经元模型由一个线性组合器和随后的硬限幅器（执行一个符号函数）组成。如图1.1所示。神经元模型的求和节点计算作用于突触上的输入的线性组合，同时也合并外部作用的偏置。求和节点计算的到的结果，也就是诱导局部域，被作用于硬限幅器。当硬限幅器输入为正时，神经元输出+1，反之则输出-1。图1.1感知器的符号流图从这个模型我们发现硬限幅器输入或神经元的诱导局部域是v=（1.1）感知器的目的是把外部作用刺激x1,x2,……xm正确分为L1和L2两类。分类规则是：如果感知器输出y是+1就将x1,x2,……xm表示的点分配给类L1，如果感知器输出y是-1则分配给类L2。为了进一步观察模式分类器的行为，一般要在m维信号空间中画出决策区域图，这个空间是由m个输入向量x1,x2,……xm所张成的。在最简单的感知器中存在被一个超平面分开的两个决策区域，此超平面定义为=0（1.2）偏置b的作用只是把决策边界从原点移开。图1.2两维两类模式分类问题决策边界超平面的实例1.3感知器收敛定理为了导出感知器的误差修正学习算法，利用图1.3的等价的感知器信号流图：偏置b(n)被当作一个等于+1的固定输入量所驱动的突触权值。我们因此定义(m+1)×1个输入向量：x(n)=[+1,x1(n),x2(n),……,xm(n)]T这里n表示使用算法时的迭代步数，相应的定义(m+1)×1个权值向量：w(n)=[b,w1(n),w2(n),……,wm(n)]T因此，线性组合器的输出可以写成紧凑形式：（1.3）图1.3等价的感知器信号流图为了使感知器能够正常工作，L1和L2两个类必须是线性可分的。这意味着待分类模式必须分离得足够开以保证决策平面是超平面。这个要求对两维感知器的情形如图1.4所示。图1.4a中两个类L1和L2分离得足够开，使得我们能画一个超平面为决策边界。但是，假如允许两个类靠的足够近，如1.4b所示，它们就变成非线性可分的，这种情况就超出了感知器的计算能力。图1.4a)一对线性可分离模式；b)一对非线性可分模式**当x(n)属于类L2时，正确的分类应有wT(n)x(n)<0，但现在wT(n)x(n)>0，即错误分类，要使得分类正确，在第n+1次迭代时，应有wT(n+1)x(n+1)<0，而x(n+1)即为x(n)，括号中的只是代表迭代次数，所以要满足这个不等式必须在w(n)的基础上减去一个正值。当x(n)属于类L1时，同理。控制权值修改幅度感知器收敛定理的证明针对初始条件w(0)=0。假设对n=1，2，…，wT(n)x(n)<0，且输入向量x(n)属于子集H1。（对照式1.4的第二个条件）在常量η=1的情况下，可以利用式（1.6）的第二行，有（1.7）给定初始条件w(0)=0,可以迭代求解这个关于w(n+1)的方程而得到结果（1.8）w(1)=w(0)+x(0)=0;n=1w(2)=w(1)+x(1)=0+x(1)=x(1);n=2w(3)=w(2)+x(2)=x(1)+x(2);……n=nw(n+1)=w(n)+x(n)=x(1)+x(2)+……+x(n)接下来首先证明当η=1时固定增量自适应规则的收敛性。η是否等于1并不重要，只要是正的，并且是否等于1也不影响模式的可分性，只是改变模式向量的大小。当n有足够大的值时，式（1.16）的第二个结果显然与式（1.12）的结果相矛盾*。实际上，我们可以说n不能大于某个值nmax，值nmax使得式（1.12）和式（1.16）的等号都成立。这里，nmax是下面方程的解：给定解向量w0，解出nmax，（1.18）*（1.16）（1.12）这里将式（1.16）与式（1.12）结合...
