4 大数据参照架构和核心技术 4.1 大数据参照架构 大数据作为一种新兴技术，目前尚未形成完善、达到共识的技术原则体系。本章结合 NIST和 JTC1/SC32 的讨论成果，结合我们对大数据的理解和分析，提出了大数据参照架构（见图 5）。 图 5 大数据参照架构图大数据参照架构总体上可以概括为“一种概念体系，二个价值链维度”。“一种概念体系”是指它为大数据参照架构中使用的概念提供了一种构件层级分类体系,即“角色—活动—功能组件”，用于描述参照架构中的逻辑构件及其关系；“二个价值链维度”分别为“IT 价值链”和“信息价值链”，其中“IT 价值链”反映的是大数据作为一种新兴的数据应用范式对 IT 技术产生的新需求所带来的价值，“信息价值链”反映的是大数据作为一种数据科学措施论对数据到知识的解决过程中所实现的信息流价值。这些内涵在大数据参照模型图中得到了体现。大数据参照架构是一种通用的大数据系统概念模型。它表达了通用的、技术无关的大数据系统的逻辑功能构件及构件之间的互操作接口，可以作为开发多种具体类型大数据应用系统架构的通用技术参照框架。其目的是建立一种开放的大数据技术参照架构，使系统工程师、数据科学家、软件开发人员、数据架构师和高档决策者，可以在可以互操作的大数据生态系统中制定一种解决方案，解决由多种大数据特性融合而带来的需要使用多种措施的问题。它提供了一种通用的大数据应用系统框架，支持多种商业环境，涉及紧密集成的公司系统和松散耦合的垂直行业，有助于理解大数据系统如何补充并有别于已有的分析、商业智能、数据库等老式的数据应用系统。 大数据参照架构采纳构件层级构造来体现大数据系统的高层概念和通用的构件分类法。从构成上看，大数据参照架构是由一系列在不同概念层级上的逻辑构件构成的。这些逻辑构件被划分为三个层级，从高到低依次为角色、活动和功能组件。最顶层级的逻辑构件是角色，涉及系统协调者、数据提供者、大数据应用提供者、大数据框架提供者、数据消费者安全和隐私、管理。第二层级的逻辑构件是每个角色执行的活动。第三层级的逻辑构件是执行每个活动需要的功能组件。 大数据参照架构图的整体布局根据代表大数据价值链的两个维度来组织，即信息价值链（水平轴）和 IT 价值链（垂直轴）。在信息价值链维度上，大数据的价值通过数据的收集、预解决、分析、可视化和访问等活动来实现。在 IT 价值链维度上，大数据价值通过为大数据应用提供寄...
