预备知识:一Sigmoid:)exp(11xy)1())exp(1(1)exp(11))exp(1(1)exp(1))exp(())exp(1(1)exp())exp(1(1))(ex1(22221-yyxxxxxxdxxdxdxxpddxdy二BP推导1
符号定义:网络结构:输入层有I个神经元,隐层有J个神经元,输出层有K个神经元,权值为W
输入样本TIxxxx)
,(21,隐层输出TJhhhH)
,(21实际输出TKYyyY)
,(21教学值TKtttT)
,(21,net为神经元的输出
隐层:IllljjjjJjxWnetnetgh
2,1;*),(输出层:JlllkkkkKkyWnetnetgy
2,1;*),(误差和函数:KlllytE2)(21权值调整:wEmwmw)()1(2
输出层权值调整:
IllljjjjJjxWnetnetgh
2,1;*),(JlllkkkkKkyWnetnetgy
2,1;*),(jkW表示第j个神经元到第k个神经元之间的权值nethnethnethnety误差求导:jkkkjkkkkkjkkkjkWnetWnetnetyyEWnetnetEWE)1()(-kkkkkyyytjjkJlllkjkJlllkjkjkJlllkjkkhWhWjlWhWWjlWhWWnet时当的函数侧时不是当0
jkkkkjkkkjkhyyytWnetWE)1()(-3
隐层权值调整:
IllljjjjJjxWnetnetgh
2,1;*),(ijW表示第i个神经元与第j个神经元之间的权值误差求导:ijjhijjjjjijjjijWnetWnetnethhEWnetnetEWExxxnethjjkljlljjjlKlljjjnethWnethnetnetnetEnethhEh