大数据在制造系统中的应用 20 世纪中叶计算机的诞生标志着电子时代正式开始,从此人类社会开始生产并存储各类型的数据
经过数次计算机技术革命,单位面积所能存储的数据量大大提高
近年来由于W EB2
0 应用的全面爆发,网络参与者同时也成了网络信息的制造者,由W EB2
0 带来的大规模非结构化数据开始呈现出非几何级数的增长
因此,称这种密集型数据爆炸的现象为“大数据”时代的到来
1 大数据的概念 大数据的概念不是凭空出现的,它的前身是海量数据
但两者之间有所区别,海量数据强调数据量的规模之大,并没有对其特性进行定义
而大数据的概念包含了大数据的体积、传播速率、特征等内容
虽然截至目前还没有对大数据有统一的定义,但被广泛接受的定义为:大数据是无法 在 一定的时间内用通 常 的软 件工 具 进行收 集、分 析 、管 理 的大量数据的集合
大数据的特点 一般 归 纳 为四 点 :一是数据总 量大,目前大数据最 小 单位一般被认 为是 10-20TB 的量级; 二 是数据类型多 ,包括 了结构化、非结构化和 半 结构化数据; 三 是数据的价 值 密度 ( 单位重 量物 品 的价 值 ) 很 低 ; 四 是数据产生和处 理 的速度 非常 快
这四 个 特点 又 被称为大数据的4V 理 念,即 :Volume,Variety,Value,Velocity
2 大数据面临的挑战 大数据的数据集大小 以 难 以 想 象的速度 增长, 给 数据处 理 带来了极 大的挑战
首 先 , 信息技术的发展 使 得 数据的生成和 消 费 变 得 更 容易
例 如 , 每 分 钟有 72 小 时长度 的视 频 被上 传到 Youtube 服 务 器 ,大数据的这种大容量特性使得 数据难 以 可 伸 缩 地 从分 布 式的地 点 收 集并集成; 第 二 , 数据采 集后 , 如 何以最