电话*传真 Ml紙质文件人和机实时数仓vs 离线数仓1、数据仓库的发展趋势1・1 数据仓库的趋势关于数据仓库的概念就不多介绍了。数据仓库是伴随着企业信息化发展起来的,在企业信息化的过程中,随着信息化工具的升级和新工具的应用,数据量变的越来越大,数据格式越来越多,决策要求越来越苛刻,数据仓库技术也在不停的发展。数据仓库的趋势:•实时数据仓库以满足实时化&自动化决策需求•大数据&数据湖以支持大量&复杂数据类型1.2 数据仓库的发展数据仓库有两个环节:数据仓库的构建与数据仓库的应用。早期数据仓库构建主要指的是把企业的业务数据库如 ERP、CRM、SCM 等数据按照决策分析的要求建模并汇总到数据仓库引擎中,其应用以报表为主,目的是支持管理层和业务人员决策(中长期策略型决策)。随着业务和环境的发展,这两方面都在发生着剧烈变化。随着 IT 技术走向互联网、移动化,数据源变得越来越丰富,在原来业务数据库的基础云计AL 大数宛、藪犯制上出现了非结构化数据,比如网站 log,loT 设备数据,APP 埋点数据等,这些数据量比以往结构化的数据大了几个量级,对 ETL 过程、存储都提出了更高的要求。互联网的在线特性也将业务需求推向了实时化,随时根据当前客户行为而调整策略变得越来越常见,比如大促过程中库存管理,运营管理等(即既有中远期策略型,也有短期操作型);同时公司业务互联网化之后导致同时服务的客户剧增,有些情况人工难以完全处理,这就需要机器自动决策,比如欺诈检测和用户审核。2、数据仓库架构的演变从 1990 年 Inmon 提出数据仓库概念到今天,数仓架构经历了最初的传统数仓架构离线数仓库离线大数据架构、Lambda 架构、Kappa 架构以及Flink 的火热带出的流批一体架构,数据架构技术不断演进,本质是在往流批一体的方向发展,让用户能以最自然、最小的成本完成实时计算。底离注计按运计虫讨计鲜35 凰2.1 传统数仓架构这是比较传统的一种方式,结构或半结构化数据通过离线 ETL 定期加载到离线数仓,之后通过计算引擎取得结果,供前端使用。这里的离线数仓+计算引擎,通常是使用大型商业数据库来承担,例如 Oracle、DB2、Teradata 等。2.2 离线大数据架构随着数据规模的不断增大,传统数仓方式难以承载海量数据。随着大数据技术的普及,采用大数据技术来承载存储与计算任务。当然,也可以使用传传统数据库集群或 MPP 架构数据库来完成。例如 Hadoop+Hive/SparkOracleRAC、GreenPlum等...