Spark大数据挖掘技术研究与应用

Spark 大数据挖掘技术研究与应用目录一、 内容概要....................................................41 . 1 研究背景与意义.............................................62 .1.1 大数据时代背景概述.......................................71. 1. 2 Spark 技术发展现状......................................81.1. 3 大数据分析技术重要性.....................................101.2.内外研究现状..........................................111.3. 1 国外研究进展.............................................141.3.2 国内研究进展...........................................151.3.3 研究趋势分析.............................................161.4.究内容与目标............................................181.5. 1 主要研究内容............................................ 191.3.2 研究目标设定..............................................211.6.究方法与技术路线........................................231.7. 1 研究方法选择.............................................231.4.2 技术路线规划..............................................24二、Spark 技术体系概述..........................................262. 1 Spark 核心概念............................................272. 1. 1 RDD 数据模型...........................................294. 1 金融行业应用583. 1. 2 DataFrame 编程接口................................... 314. 1. 3 Dataset 高级接口..................................... 325. 2 Spark 计算模型.............................................346. 2. 1 算子化编程思想..........................................367. 2.2 分布式执行过程...........................................368. 2.3 内存计算机制.............................................389. 3 Spark 生态系统架构.........................................392.4 Spark 与其他计算框架对比....................................41三、Spark 大数据分析技术........................................423. 1 数据预处理技术.............................................433. 1. 1 数据清洗方法........................................