第5 章 机器学习 §5 .2 神经网络学习 §5 .3 因果信念网络学习 第5 章 机器学习 什么是机器学习? 归纳学习 能够学习的程序 S: 任务 T,性能度量 P,经验 E, S 能够通过经验 E,改善执行任务 T的性能(用 P来度量) 通过 实例集{(x1,y1),…, (xk,yk)} 求函数 y=f(x)使得 y1 ≈ f(x1), yi ≈ f(xi), …,yk ≈ f(xk) §5.1 归纳式学习 Inductive Learning 什么是归纳学习?和演绎推理(保真)的比较 例子,训练实例集合: 1.( 乌鸦 w1,羽毛黑); 2.(乌鸦 w2,羽毛浅黑); 3.( 麻雀 w3,羽毛灰);4.(鸽子 w4,羽毛白); 5.( 乌鸦 w1,羽毛白);6.(偶数 8,两素数 3,5 之和)… 根据训练实例集合提出假说 HYPOTHESIS: GOAL (乌鸦,黑色的羽毛) )()()()()()(x ̄x ̄xxx ̄xxx乌鸦黑黑乌鸦亦即,黑乌鸦1.支持性正例;2.灰色支持的正例; 3. 支持性负例;4.支持性负例 5.否定性反例;6.无关实例 要求归纳得到简洁的规则, 并使得规则的可信度高 归纳的可信度:规则的可信度是0.99%其含义为,10000个乌鸦中大约可能有1 个否定性 反例(非黑的乌鸦) 决策树学习。 从数据取样(Xi,Yi), 利用外推插值方法,求函数. 决策树学习,适用于 离散性样点(Xi,Yi), Xi∈离散集合,Yi∈离散集合 从数据例子中提出有规律的假设,使其符合数据实例, 挖掘数据中的Pattern模式,规律 Ockham‘s Razor: 最简单的是最好的. 决策树 F=F(A,B,C) A B C F 0 0 0 0 0 0 1 1 0 1 0 0 0 1 1 1 A B C F 1 0 0 1 1 0 1 1 1 1 0 1 1 1 1 0 A 1 0 B 0…….1 C 1 0 TRUE TRUE FALSE FALSE 挑选主要分类属性, 1. 分别挑选能够把F=0,1 的肯定,或否定例集合 分开的决策属性C, 使C 的某种取值覆盖F肯定集合或F否定集合 的大小 尽可能地小(方法: 布尔0,1 合并法) 2. 对C 属性的每一种取值,列出它对F肯定集合或F否定集的覆盖集合(它们分别是F肯定集合和F否定集的子集合), 进一步从其他属性中挑选能够把正反例分开的属性(递归算法); 直到 3. 某覆盖集合为空,DONE 4. 决策属性集已经全部挑完,但正反例集合非空:有NOISE F=A∧ ̄B ∨C F=TRUE 的取值元组集合: +正集合 {001,011,100,101,111}0&1,&01,&11,10&,1&1&&1, 因此,C 是决策分类F=TRUE 的第一侯选变量; F=FALSE 的取值元组: -负集合 { 000,01...