大数据在制造系统中的应用 20 世纪中叶计算机的诞生标志着电子时代正式开始，从此人类社会开始生产并存储各类型的数据。经过数次计算机技术革命，单位面积所能存储的数据量大大提高。近年来由于W EB2.0 应用的全面爆发，网络参与者同时也成了网络信息的制造者，由W EB2.0 带来的大规模非结构化数据开始呈现出非几何级数的增长。因此，称这种密集型数据爆炸的现象为“大数据”时代的到来。 1 大数据的概念 大数据的概念不是凭空出现的，它的前身是海量数据。但两者之间有所区别，海量数据强调数据量的规模之大，并没有对其特性进行定义。而大数据的概念包含了大数据的体积、传播速率、特征等内容。虽然截至目前还没有对大数据有统一的定义，但被广泛接受的定义为：大数据是无法 在 一定的时间内用通 常 的软 件工 具 进行收 集、分 析 、管 理 的大量数据的集合 。 大数据的特点 一般 归 纳 为四 点 ：一是数据总 量大，目前大数据最 小 单位一般被认 为是 10-20TB 的量级； 二 是数据类型多 ，包括 了结构化、非结构化和 半 结构化数据； 三 是数据的价 值 密度 （ 单位重 量物 品 的价 值 ） 很 低 ； 四 是数据产生和处 理 的速度 非常 快 。这四 个 特点 又 被称为大数据的4V 理 念，即 ：Volume,Variety,Value,Velocity 。 2 大数据面临的挑战 大数据的数据集大小 以 难 以 想 象的速度 增长, 给 数据处 理 带来了极 大的挑战 。 首 先 , 信息技术的发展 使 得 数据的生成和 消 费 变 得 更 容易 。 例 如 , 每 分 钟有 72 小 时长度 的视 频 被上 传到 Youtube 服 务 器 ，大数据的这种大容量特性使得 数据难 以 可 伸 缩 地 从分 布 式的地 点 收 集并集成； 第 二 , 数据采 集后 , 如 何以最 小 的硬 件 和 软 件 代价 存储和 管 理 这些 海量异 构数据是非常 具 有挑 战 性的问 题 ； 第 三 , 由于大数据的异 构性、规模性、实 时性、复 杂 性和 隐 私 性等特点 , 大数据分 析 必 须 在 不同层 次 (建 模、可 视 化、预 测 和 优 化) 高效 地 挖 掘 数据以 提高决 策效 率；这些 挑 战 迫 切 地 需 要 对整 个 数据管 理 系 统的各个 层 次 (从体系 架 构到具 体机制) 进行变 革。但是如 果 能有效 地 管 ...
