1 数据挖掘概念与技术 一. 什么是数据挖掘,数据挖掘的知识体系及应用范围 1. 定义: 又称数据中的知识发现,从大量的数据中挖掘有趣模式和知识的过程。 知识发现的过程: 1). 数据清理: 除噪声和删除不一致数据 2). 数据集成: 多种数据源的组合 3). 数据选择: 取和分析与任务相关的数据 4). 数据变换: 数据变换和统一成适合挖掘的形式 5). 数据挖掘: 使用智能方法提取数据格式 6). 模式评估: 识别代表知识的有趣模式 7). 知识表示: 使用可视化和知识表示技术,向用户提供挖掘的知识 2. 为什么要进行数据挖掘 未来将是大数据时代,IDC(国际数据公司)研究报告指出 2012 年全球信息资料量为2.8Z B(2 的 40 次方 GB),而在 2020 年预计会达到 40Z B,平均每人拥有 5247GB 的数据。庞大的数据量背后隐藏着巨大的潜在价值,人们手握巨量的数据却没有很好的手段去充分挖掘其中的价值,因此对数据挖掘的研究可以帮助我们将数据转化成知识。 3. 数据挖掘的知识体系 数据挖掘作为一个应用驱动的领域,吸纳了许多应用领域的技术,包括: 统计学、机器学习、模式识别、数据库和数据仓库、信息检索、可视化、算法、高性能计算等。 数据挖掘的任务分类: 描述性任务: 刻画目标数据的一般性质 预测性任务: 归纳及做出预测 数据挖掘功能: 1). 数据特征化与数据区分 2). 频繁模式 3). 关联和相关性挖掘 4). 分类和回归 5). 聚类分析 6). 离群点分析 4. 数据挖掘应用领域 1. 金融数据分析 2 2. 零售与电信业: 例如分析零售数据有利于做出正确的决策;产品推荐;顾客保有及促销策略 3. 科学与工程数据挖掘 4. 网络数据挖掘: 社交网络用户行为分析,多媒体、文本和 w eb 数据分析 5. 信息检索: 搜索引擎、云计算、数据仓库 二. 认识数据 1. 属性总结: 标称属性:一些符号和事物的名称,如头发颜色和学历是描述人的属性。 二元属性:只有0、1 两种状态 序数属性: 可能的值具有有意义的序,如教师职称 数值属性: 定量的,用实数值表示 2. 度量数据的相似性和相异性(即数据的邻近性) 非对称二元属性: Jaccard 属性 数值属性:欧几里得距离、曼哈顿距离、闵可夫斯基距离、上确界距离 相似性评估:余弦相似性(用于比较文档)、Tanimoto 系数 3. 数据预处理 1). 数据清理:填补缺失值、光滑噪声、识别离群点、纠正数据不一致性,通常...