大数据IT产业链与生态环境

中国大数据技术与产业发展白皮书（2013） 第四章 大数据IT 产业链与生态环境 4.1 大数据国内外相关产业现状 大数据的需求和应用的发展需要完整的IT 产业链，并构建良好的产品体系和上下游生态环境。本部分内容将具体介绍我国的大数据相关产业情况。 4.1.1 大数据产业链全景图 图4-1： 大数据产业链全景图网络生活 因循数据的流动性和开放性，大数据全生命周期可以划分为“数据产生— — 〉数据采集— — 〉数据传输— — 〉数据存储— — 〉数据处理— — 〉数据分析— — 〉数据发布、展示和应用— — 〉产生新数据”等阶段。我国已经形成了大数据的“生产与集聚层— — 组织与管理层— — 分析与发现层— — 应用与服务层”的产业链，而 IT 基础设施为这各环节提供基础支撑。 74 中国大数据技术与产业发展白皮书（2013） 4 .1 .2 国内外发展呈现的四个趋势  开源软件&产业垂直整合 需求驱动致使越靠近消费端的企业，在整个产业链上会拥有越来越多的发言权。大数据时代开源技术的发展已经可以和商用软件分庭抗礼，传统的操作系统、中间件、数据库等平台级软件的同质化趋势已经渐趋明显。最终用户的关注焦点集中如何解决企业的业务问题，而不是购买谁的数据库或者操作系统。因此，越靠近最终用户的企业，将在产业链中拥有越大的发言权。 开源软件加剧了基础软件的同质化趋势，而软、硬件一体化的趋势，进一步弱化了产业链上游的发言权。垂直整合推动大数据产业集约化的发展道路，从而最大限度的获得商业利润。  非结构化大数据处理分析成为难点和重点 随着互联网和通信技术的迅猛发展，数据类型早已不是单一的以的结构化数据，还充斥着广泛存在于社交网络、物联网、电子商务等之中网络日志、音频、视频、图片、地理位置信息等等多类型的数据。这些数据被命名为非结构化数据。据统计， 85%的数据属于非结构化数据。这些非结构化数据的产生往往伴随着社交网络、移动计算和传感器等新的渠道和技术的不断涌现和应用。但是现有的数据处理方法仅适用于结构化数据，无法将大量的非结构化数据与结构化数据进行统一、整合，从而就无法发掘数据中的价值。 目前国内在非结构化大数据挖掘分析方面，在社会化计算领域，针对于微博数据取得一定的实用性进展，并形成了一定的市场规模。代表产品，如 TRS SMAS（Social Media Analyze Service）社会化媒体云服务平台，它是建立在TRS 大数据分析挖掘系统...