数据中台(架构篇)声 明 : 本 ⽂ 归 属 所 有 。@⼀ ⼨HUI在上⼀篇⽂章中主要介绍了建设数据中台要建设哪些内容、建设的步骤以及建设过程中需要遵循⼀定的规范并符合公司的战略。也提及到了阿⾥巴巴数据中台的全景图,有了上⾯的基础,现在更能⽅便的理解数据中台的架构了。先来回顾下数据中台的概念。数据中台是⼀套可持续“让企业的数据⽤起来”的机制,是⼀种战略选择和组织形式,是依据企业特有的业务模式和组织架构,通过有形的产品和实施⽅法论⽀撑,构建的⼀套持续不断把数据变成资产并服务于业务的机制。数据中台是处于业务前台和技术后台的中间层,是对业务提供的数据能⼒的抽象和共享的过程,数据中台通过将企业的数据变成数据资产,并提供数据能⼒组件和运⾏机制,形成聚合数据接⼊、集成、清洗加⼯、建模处理、挖掘分析,并以共享服务的⽅式将数据提供给业务端使⽤,从⽽与业务产⽣联动,⽽后结合业务系统的数据⽣产能⼒,最终构建数据⽣产>消费>再⽣的闭环,通过这样持续使⽤数据、产⽣智能、反哺业务从⽽实现数据变现的系统和机制。数据中台功能定位数据中台的功能定位是完成公司内部数据能⼒的抽象、共享和复⽤,因此,数据中台的架构必须围绕这三个功能来设计。与传统的⼤数据平台不同,数据中台搭建于⼤数据平台及数据仓库之上,将⼤数据平台和数据仓库所实现的功能以通⽤数据能⼒的形式提供给企业的所有部门。因此,单从功能上来讲,⼤数据平台实现具体的数据能⼒,数据仓库是业务建模、数据治理发⽣的地⽅,⽽数据中台则需要把⼤数据平台、数据仓库的数据和接⼝组织起来,通过打通数据提升数据能⼒,通过共享提⾼全局使⽤效率。因此数据中台的架构设计应该考虑如何有效地完成抽象、共享和复⽤的功能。数据中台的建设应该贯穿数据处理的全⽣命周期,即从原始数据到最后产⽣数据价值的整个流程,且整个流程都处于数据中台的管理之下。下图显⽰了从原始数据到实现数据价值的完整流程,其中每⼀步都是数据中台建设需要考虑的:数据发现/探索,数据采集/导⼊,数据建模/治理,数据转换/分析,数据发现/探索,数据采集/导⼊,数据建模/治理,数据转换/分析数据中台要做的就是把上述流程在全局标准化、规范化,让这个流程产⽣的结果和能⼒能够在全局共享和复⽤。数据中台的架构设计,其核⼼在于⽤全局统⼀的标准和规范来实现数据赋能,这与单⼀部门实现上述流程的侧重点是不同的。在数据中台的设计中,需要考虑如何灵活地...