大数据平台的关键技术 组长： 小组成员： 2014年3月16日 目录 一、 综述........................................................... 3 1.1 大数据的特征................................................ 3 1.2 大数据时代的来临............................................ 3 1.3 本文结构.................................................... 3 二、 大数据采集..................................................... 4 2.1 采集定义.................................................... 4 2.2 采集技术.................................................... 5 2.2.1 系统日志采集方法...................................... 5 2.2.2 网络数据采集方法...................................... 5 2.2.3 特定方法.............................................. 5 三、数据预处理技术.................................................. 6 四、大数据存储技术.................................................. 6 3.1 存储管理数据的背景.......................................... 6 3.2 数据压缩.................................................... 6 3.3 数据存储技术及管理.......................................... 7 五、 大数据挖掘..................................................... 8 5.1 概述........................................................ 8 5.2 Apriori算法................................................. 8 5.2.1 关联规则挖掘 .......................................... 8 5.2.2 Apriori算法概念........................................ 9 5.2.3 Apriori算法过程........................................ 9 六、大数据带来的机遇和挑战......................................... 12 6.1 大数据带来的机遇 ........................................... 12 6.2 大数据带来的挑战 ........................................... 12 七、结束语 ......................................................... 13 八、参考文献 ....................................................... 14 一 、 综 述 1.1 大 数 据 的 特 征 随 着 人 类 对 自 然 和 社 会 认 识 地 进...
