大数据架构与关键技术

CK(I1■Il,!J)V4 大数据参考架构和关键技术4.1 大数据参考架构大数据作为一种新兴技术，目前尚未形成完善、达成共识的技术标准体系。本章结合 NIST和 JTC1/SC32 的研究成果，结合我们对大数据的理解和分析，提出了大数据参考架构（见图5）。is.aftfta■图 5 大数据参考架构图大数据参考架构总体上可以概括为“一个概念体系，二个价值链维度”。“一个概念体系”是指它为大数据参考架构中使用的概念提供了一个构件层级分类体系，即“角色一活动一功能组件”，用于描述参考架构中的逻辑构件及其关系；“二个价值链维度”分别为“IT 价值链”和“信息价值链”，其中“IT 价值链”反映的是大数据作为一种新兴的数据应用范式对 IT 技术产生的新需求所带来的价值，“信息价值链”反映的是大数据作为一种数据科学方法论对数据到知识的处理过程中所实现的信息流价值。这些内涵在大数据参考模型图中得到了体现。大数据参考架构是一个通用的大数据系统概念模型。它表示了通用的、技术无关的大数据系统的逻辑功能构件及构件之间的互操作接口，可以作为开发各种具体类型大数据应用系统架构的通用技术参考框架。其目标是建立一个开放的大数据技术参考架构，使系统工程师、数据科学家、软件开发人员、数据架构师和高级决策者，能够在可以互操作的大数据生态系统中制定一个解决方案，解决由各种大数据特征融合而带来的需要使用多种方法的问题。它提供了一个通用的大数据应用系统框架，支持各种商业环境，包括紧密集成的企业系统和松散耦合的垂直行业，有助于理解大数据系统如何补充并有别于已有的分析、商业智能、数据库等传统的数据应用系统。大数据参考架构采用构件层级结构来表达大数据系统的高层概念和通用的构件分类法。从|仅址匡|||甘斬||匹人数舞矶饕强吐者Jl|；lt/■＜：ll.;!IH^.|切.fTd再理駅平白：揺供刼嵋袒锐勻廿索恫仃匕比件桌ftMMtW^.LIHAiOrr^frtwS'I厂反互产就址虔WG2DI 沾•切 II 构成上看，大数据参考架构是由一系列在不同概念层级上的逻辑构件组成的。这些逻辑构件被划分为三个层级，从高到低依次为角色、活动和功能组件。最顶层级的逻辑构件是角色，包括系统协调者、数据提供者、大数据应用提供者、大数据框架提供者、数据消费者、安全和隐私、管理。第二层级的逻辑构件是每个角色执行的活动。第三层级的逻辑构件是执行每个活动需要的功能组件。大数据参考架构图的整体布局按照代表大数据价值链的两个维度来组织，即信息价值链...