大数据与我们的生活 2013 年被称为“大数据元年”,这一年几乎所有的世界级互联网企业,都将业务触角延伸至大数据产业;无论社交平台逐鹿、电商价格大战还是门户网站的竞争,都有它的影子。如今,一个大规模生产、分享和应用数据的时代正在开启。《大数据时代》的作者维克托教授曾说,大数据的真实价值就像漂浮在海洋中的冰山,第一眼只能看到冰山的一角,绝大部分都隐藏在表面之下。互联网的出现使得我们身边的社交网络,电子商务与移动通信把人类社会带入了一个以“PB”(1024TB)为单位的结构与非结构数据的新时代。而发掘数据价值、征服数据海洋的“动力”就是云计算。云计算出现之前,传统的计算机是无法处理如此量大并且不规则的“非结构数据”的。而以云计算为基础的信息存储、分享和挖掘手段,可以便宜、有效地将这些大量、高速、多变化的终端数据存储下来,并随时进行分析与计算。大数据与云计算是一个问题的两个方面:一个是问题,一个是解决问题的方法。那么在这里普 及 一 下 云 计 算 的 概 念 。 云 计 算 (Clou d Compu ting) 是 分 布 式 处 理 (Distribu ted Compu ting)、并行处理(Parallel Compu ting)和网格计算(Grid Compu ting)的发展,或者说是这些计算机科学概念的商业实现。云计算的基本原理是,通过使计算分布在大量的分布式计算机上,而非本地计算机或远程服务器中,企业数据中心的运行将更与互联网相似。这使得企业能够将资源切换到需要的应用上,根据需求访问计算机和存储系统。它意味着计算能力也可以作为一种商品进行流通,就像煤气、水电一样,取用方便,费用低廉。最大的不同在于,它是通过互联网进行传输的。这里我们没有必要将云计算的概念搞得十分透彻,因为它本身就像云一样,我们只需要知道它可以为我们提供本地主机无法提供的超强计算能力和各种服务,可以用云计算的方式解决许多在原本看来无法解决的问题。 我们回到正题,什么是大数据? 对于“大数据”(Big data)研究机构 Gartner 给出了这样的定义。“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。 在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》中,大数据指不用随机分析法(抽样调查)这样的捷径,而采用所有数据进行分析处理。 而 IBM 则提出了大数据的 5V 特点:Volume(大量)、Velocity(高速)、Variety(多样)...