人工智能(机器学习)

第5 章 机器学习 §5 .2 神经网络学习 §5 .3 因果信念网络学习 第5 章 机器学习 什么是机器学习？ 归纳学习 能够学习的程序 S： 任务 T，性能度量 P，经验 E， S 能够通过经验 E，改善执行任务 T的性能（用 P来度量） 通过 实例集{（x1,y1）,…, (xk,yk)} 求函数 y=f(x)使得 y1 ≈ f(x1), yi ≈ f(xi), …,yk ≈ f(xk) §5.1 归纳式学习 Inductive Learning 什么是归纳学习？和演绎推理（保真）的比较 例子，训练实例集合: 1.( 乌鸦 w1，羽毛黑); 2.(乌鸦 w2，羽毛浅黑); 3.( 麻雀 w3，羽毛灰);4.(鸽子 w4，羽毛白); 5.( 乌鸦 w1，羽毛白);6.(偶数 8,两素数 3,5 之和)… 根据训练实例集合提出假说 HYPOTHESIS: GOAL (乌鸦,黑色的羽毛) )()()()()()(x￣x￣xxx￣xxx乌鸦黑黑乌鸦亦即，黑乌鸦1.支持性正例;2.灰色支持的正例; 3. 支持性负例;4.支持性负例 5.否定性反例;6.无关实例 要求归纳得到简洁的规则, 并使得规则的可信度高 归纳的可信度:规则的可信度是0.99%其含义为,10000个乌鸦中大约可能有1 个否定性 反例(非黑的乌鸦) 决策树学习。 从数据取样(Xi,Yi), 利用外推插值方法,求函数. 决策树学习,适用于 离散性样点(Xi,Yi), Xi∈离散集合,Yi∈离散集合 从数据例子中提出有规律的假设,使其符合数据实例, 挖掘数据中的Pattern模式,规律 Ockham‘s Razor: 最简单的是最好的. 决策树 F=F（A，B，C） A B C F 0 0 0 0 0 0 1 1 0 1 0 0 0 1 1 1 A B C F 1 0 0 1 1 0 1 1 1 1 0 1 1 1 1 0 A 1 0 B 0…….1 C 1 0 TRUE TRUE FALSE FALSE 挑选主要分类属性， 1． 分别挑选能够把F=0，1 的肯定,或否定例集合 分开的决策属性C, 使C 的某种取值覆盖F肯定集合或F否定集合 的大小 尽可能地小（方法: 布尔0，1 合并法） 2． 对C 属性的每一种取值,列出它对F肯定集合或F否定集的覆盖集合(它们分别是F肯定集合和F否定集的子集合), 进一步从其他属性中挑选能够把正反例分开的属性(递归算法)； 直到 3． 某覆盖集合为空，DONE 4． 决策属性集已经全部挑完，但正反例集合非空：有NOISE F=A∧￣B ∨C F=TRUE 的取值元组集合： +正集合 {001,011,100,101,111}0&1,&01,&11,10&,1&1&&1, 因此，C 是决策分类F=TRUE 的第一侯选变量； F=FALSE 的取值元组： -负集合 { 000，01...