大数据时代的机遇与挑战什么是大数据时代
“大数据”在物理学、生物学、环境生态学等领域以及军事、金融、通讯等行业存在已有时日,却因为近年来互联网和信息行业的发展而引起人们关注
最早提出“大数据”时代到来的是全球知名咨询公司麦肯锡,麦肯锡称:“数据,已经渗透到当今每一个行业和业务职能领域,成为重要的生产因素
人们对于海量数据的挖掘和运用,预示着新一波生产率增长和消费者盈余浪潮的到来
”大数据时代是怎样产生的
物联网、云计算、社交网络、社会媒体以及信息获取技术的飞速发展,数据正以前所未有的速度迅速增长和积累,数据是人类社会最重要的财富大数据时代的到来大数据时代的特点
数据量大(Volume)第一个特征是数据量大
大数据的起始计量单位至少是P(1000个T)、E(100万个T)或Z(10亿个T)
类型繁多(Variety)第二个特征是数据类型繁多
包括网络日志、音频、视频、图片、地理位置信息等等,多类型的数据对数据的处理能力提出了更高的要求
价值密度低(Value)第三个特征是数据价值密度相对较低
如随着物联网的广泛应用,信息感知无处不在,信息海量,但价值密度较低,如何通过强大的机器算法更迅速地完成数据的价值“提纯”,是大数据时代亟待解决的难题
速度快、时效高(Velocity)第四个特征是处理速度快,时效性要求高
这是大数据区分于传统数据挖掘最显著的特征
既有的技术架构和路线,已经无法高效处理如此海量的数据,而对于相关组织来说,如果投入巨大采集的信息无法通过及时处理反馈有效信息,那将是得不偿失的
可以说,大数据时代对人类的数据驾驭能力提出了新的挑战,也为人们获得更为深刻、全面的洞察能力提供了前所未有的空间与潜力
大数据时代的机遇大数据技术通过对海量数据的快速收集与挖掘、及时研判与共享,成为支持社会治理科学决策和准确预判的有力手段,为社会转型期的社会治理创新带来了机