基于MapReduce算法的大数据技术研究

下载后可任意编辑基于 MapReduce 算法的大数据技术讨论摘要：文章提出了一种基于 MapReduce 的优化编程框架，来进行数据挖掘与处理。MapReduce 是通过执行Map 和 Reduce 两个阶段把大数据分割成小数据族，再并行处理这些小数据族输出得到我们想要的结果。优化过的 MapReduce 加快了数据处理速度，提高了大数据处理效率。所有的数据存储于 HDFS 中，为了方便编程人员高效地对存储好的数据进行查询和处理，Hive 提供了一套 SQL 数据操作语言，并将其转换成MapReduce 程序执行。改进的大数据算法具有更快地数据处理速度，更准确的数据查询能力。关键词：大数据；数据挖掘；数据处理；MapReduce；Hive下载后可任意编辑Research of big data technology based on MapReduce algorithmAbstract:This paper presents an optimization-based MapReduce programming framework for data mining and processing. MapReduce is through the implementation of Map and Reduce in two phases to split large data into smaller data clan, then the parallel processing of these small family of data output to get the results we want. Optimized MapReduce speed up data processing speed, improve the efficiency of large data processing. All data is stored in HDFS, in order to facilitate the programmers efficiently good data storage and query processing, Hive provides a set of SQL data manipulation language, and converts it into MapReduce program execution. Improved large data algorithm has faster data processing speed, more accurate data query capabilities.Keywords: big data; data mining; data processing; MapReduce algorithm;Hive0 引 言随着计算机技术以及互联网技术逐渐普及到人们日常生活中的各个方面，随之而产生的数据量也在呈现指数级增长，大数据应运而生而传统的数据处理系统面对大数据的挖掘与处理，往往并不适用，本文将系统地阐述如何进行大数据挖掘与处理。大数据时代的战略意义不仅在于掌握庞大的数据信息，而且在于如何处理数据。广义角度的大数据，不仅包含大数据结构形式和规模还泛指大数据的处理技术。大数据的处理技术是指能够从不断更...