第4章-自组织网络讲义(SOM)VIP免费

第四章自组织神经网络4.1竞争学习的概念与原理4.2自组织特征映射神经网络第一页，共七十一页。自组织神经网络的典型结构第四章自组织神经网络竞争层输入层第二页，共七十一页。第四章自组织神经网络自组织学习(self-organizedlearning)：通过自动寻找样本中的内在规律和本质属性，自组织、自适应地改变网络参数与结构。自组织网络的自组织功能是通过竞争学习（competitivelearning）实现的。第三页，共七十一页。4.1竞争学习的概念与原理4.1.1基本概念分类——分类是在类别知识等导师信号的指导下，将待识别的输入模式分配到各自的模式类中去。聚类——无导师指导的分类称为聚类，聚类的目的是将相似的模式样本划归一类，而将不相似的分离开。第四页，共七十一页。•相似性测量＿欧式距离法)()(iTiiXXXXXX类1类2类1类2TT(a)基于欧式距离的相似性测量(b)基于余弦法的相似性测量4.1.1基本概念第五页，共七十一页。•相似性测量＿余弦法4.1.1基本概念iiTXXXXcos类1类2类1类2TT(a)基于欧式距离的相似性测量(b)基于余弦法的相似性测量第六页，共七十一页。4.1.2竞争学习原理竞争学习规则——Winner-Take-All网络的输出神经元之间相互竞争以求被激活，结果在每一时刻只有一个输出神经元被激活。这个被激活的神经元称为竞争获胜神经元，而其它神经元的状态被抑制，故称为WinnerTakeAll。第七页，共七十一页。竞争学习规则——Winner-Take-All1.向量归一化首先将当前输入模式向量X和竞争层中各神经元对应的内星向量Wj全部进行归一化处理；(j=1,2,…,m)Tnjjnnjjxxxx12121...ˆXXX第八页，共七十一页。向量归一化之前****第九页，共七十一页。向量归一化之后*****第十页，共七十一页。竞争学习原理竞争学习规则——Winner-Take-All2.寻找获胜神经元当网络得到一个输入模式向量时，竞争层的所有神经元对应的内星权向量均与其进行相似性比较，并将最相似的内星权向量判为竞争获胜神经元。欲使两单位向量最相似，须使其点积最大。即：)ˆˆ(maxˆˆ},...,2,1{*XWXWTjmjTj第十一页，共七十一页。从上式可以看出，欲使两单位向量的欧式距离最小，须使两向量的点积最大。即：)ˆˆ(maxˆˆ},...,2,1{*XWXWTjmjTjjmjjWXWXˆˆminˆˆ,...,2,1*)ˆˆ()ˆˆ(ˆˆ***jTjjWXWXWXTjTjTjT***ˆˆˆˆ2ˆˆWWXWXX)ˆ1(2*XWTj竞争学习规则——Winner-Take-All第十二页，共七十一页。竞争学习规则——胜者为王(Winner-Take-All)3.网络输出与权值调整**01)1(jjjjtoj)ˆˆ()()(ˆ)(ˆ)1(*****jjjjjttttWXWWWW)(ˆ)1(ttjjWWjj*步骤3完成后回到步骤1继续训练，直到学习率衰减到0。第十三页，共七十一页。****竞争学习的几何意义☻第十四页，共七十一页。竞争学习的几何意义*1Wˆ*ˆjW*)](ˆ)(ˆ)[()(*ttttjpWXW-=hD*┆)(ˆ*1tj+W)(ˆtpXjWˆmWˆ*…***第十五页，共七十一页。竞争学习游戏将一维样本空间的12个样本分为3类第十六页，共七十一页。竞争学习游戏w1w2w3x训练样本集o1o1o1第十七页，共七十一页。例4.1用竞争学习算法将下列各模式分为2类：6.08.01X9848.01736.02X707.0707.03X9397.0342.04X8.06.05X解：为作图方便，将上述模式转换成极坐标形式：o89.3611Xo8012X5.4413Xo7014Xo13.5315X竞争层设两个权向量，随机初始化为单位向量：o0101)0(1Wo180101)0(2W第十八页，共七十一页。x5x3x1w2w1x2x4训练次数W1W2123456789101112131415161718192018.43-30.87-3211242434344440.540.5434347.5424243.543.548.5-180-180-180-180-180-180-130-130-100-100-100-90-90-81-81-81-80.5-80.5-75-75第十九页，共七十一页。x5x3x1w2x2x4w1训练...