大数据心得体会 早在2007 年,人类制造的信息量有史以来第一次在理论上超过可用存储空间总量,近几年两者的剪刀差越来越大
2010 年,全球数字规模首次达到了“ZB”(1ZB=1024TB)级别
2012 年,淘宝网每天在线商品数超过8 亿件
2013 年底,中国手机网民超过6 亿户
随着互联网、移动互联网、传感器、物联网、社交网站、云计算等的兴起,我们这个社会的几乎所有方面都已数字化,产生了大量新型、实时的数据
无疑,我们已身处在大数据的海洋
有两个重要的趋势使得目前的这个时代(大数据时代)与之前有显著的差别:其一,社会生活的广泛数字化,其产生数据的规模、复杂性及速度都已远远超过此前的任何时代;其二,人类的数据分析技术和工艺使得各机构、组织和企业能够以从前无法达到的复杂度、速度和精准度从庞杂的数据中获得史无前例的洞察力和预见性
大数据是技术进步的产物,而其中的关键是云技术的进步
在云技术中,虚拟化技术乃最基本、最核心的组成部份
计算虚拟化、存储虚拟化和网络虚拟化技术,使得大数据在数据存储、挖掘、分析和应用分享等方面不仅在技术上可行,在经济上也可接受
在人类文明史上,人类一直执着探索我们处的世界以及人类自身,一直试图测量、计量这个世界以及人类自身,试图找到隐藏其中的深刻关联、运行规律及终极答案
大数据以其人类史上从未有过的庞大容量、极大的复杂性、快速的生产及经济可得性,使人类第一次试图从总体而非样本,从混杂性而非精确性,从相关关系而非因果关系来测量、计量我们这个世界
人类的思维方式、行为方式及社会生活的诸多形态(当然包括商业活动)正在开始发生新的变化
或许是一场革命性、颠覆性的变化
从这个意义上讲,大数据不仅是一场技术运动,更是一次哲学创新
1 大数据的概述 1
1 大数据的概念 大数据(Big Data)是指那些超过传统数据库系统处理能力的数据
它的数据规模和转输