大数据及其在各领域的应用 引言: 随着互联网的飞速发展,特别是近年来社交网络、物联网和云计算的飞速发展和大量应用,人们所接触和关注的数据量出现爆炸式增长,使得数据的极大丰富和复杂成为当今社会的重要特征。对大数据分析和处理的技术也随之建立完善并丰富起来。主要介绍大数据的概念和特点,分析了实现大数据处理的关键技术和大数据的应用领域,列举了几种大数据在现实生活中的典型应用。 首先,全球数据量出现爆炸式增长,数据成了当今社会增长最快的资源之一。根据国际数据公司IDC的监测统计,即使在遭遇金融危机的2009年,全球信息量也比2008年增长了62%,达到80万PB(1PB等于10GB),到2011年全球数据总量已经达到1.8ZB(1ZB等于1万亿GB),并且以每两年翻一番的速度飞速增长,预计到2020年全球数据量总量将达到40ZB,10年间增长20倍以上,到2020年,地球上人均数据预计将达5247GB。在数据规模急剧增长的同时,数据类型也越来越复杂,包括结构化数据、半结构化数据、非结构化数据等多种类,其中采用传统数据处理手段难以处理的非结构化数据已接近数据总量的75%。 如此增长迅速、庞大繁杂的数据资源,给传统的数据分析、处理技术带来了巨大的挑战。为了应对这样的新任务,与大数据相关的大数据技术、大数据工程、大数据科学和大数据应用等迅速成为信息科学领域的热点问题,得到了一些国家政府部门、经济领域以及科学领域有关专家的广泛关注。虽然大数据日益升温,但与大多数信息学领 域的问题一样,大数据的基本概念及特点,大数据要解决核心问题,目前尚无统一的认识,大数据的获取、存储、处理、分析等诸多方面仍存在一定的争议,大数据概念有过度炒作的嫌疑。欧洲的一些企业甚至认为大数据就是海量数据存储,仅将大数据视作是可以获取更多信息的平台。本文分析当前流行的几种大数据的概念,讨论其异同, 从大数据据有的典型特征角度描述大数据的概念和特点, 从整体上分析大数据要解决的相关性分析、实时处理等核心问题,在此基础上,最后讨论大数据可能要面临的多种挑战。 大数据的概念和特点 大数据是个较为抽象的概念,正如信息学领域但是面对以视频、图片、文字等非结构化数据为主大多数新兴概念样,大数据至今尚无确切、统的定义。来自维基百科的定义为:大数据指数量巨大、类型复杂的数据集合,现有的数据库管理工具或传统的数据处理应用难以对其进行处理。这些挑战包括如捕获、手机、存储、搜索、共享、传递、分析与...