电话*传真 Ml紙质文件人和机实时数仓vs 离线数仓1、数据仓库的发展趋势1・1 数据仓库的趋势关于数据仓库的概念就不多介绍了。数据仓库是伴随着企业信息化发展起来的,在企业信息化的过程中,随着信息化工具的升级和新工具的应用，数据量变的越来越大，数据格式越来越多，决策要求越来越苛刻，数据仓库技术也在不停的发展。数据仓库的趋势：•实时数据仓库以满足实时化&自动化决策需求•大数据&数据湖以支持大量&复杂数据类型1.2 数据仓库的发展数据仓库有两个环节：数据仓库的构建与数据仓库的应用。早期数据仓库构建主要指的是把企业的业务数据库如 ERP、CRM、SCM 等数据按照决策分析的要求建模并汇总到数据仓库引擎中，其应用以报表为主，目的是支持管理层和业务人员决策（中长期策略型决策）。随着业务和环境的发展，这两方面都在发生着剧烈变化。随着 IT 技术走向互联网、移动化，数据源变得越来越丰富，在原来业务数据库的基础云计AL 大数宛、藪犯制上出现了非结构化数据，比如网站 log,loT 设备数据,APP 埋点数据等，这些数据量比以往结构化的数据大了几个量级，对 ETL 过程、存储都提出了更高的要求。互联网的在线特性也将业务需求推向了实时化，随时根据当前客户行为而调整策略变得越来越常见，比如大促过程中库存管理，运营管理等（即既有中远期策略型，也有短期操作型）；同时公司业务互联网化之后导致同时服务的客户剧增，有些情况人工难以完全处理，这就需要机器自动决策，比如欺诈检测和用户审核。2、数据仓库架构的演变从 1990 年 Inmon 提出数据仓库概念到今天，数仓架构经历了最初的传统数仓架构离线数仓库离线大数据架构、Lambda 架构、Kappa 架构以及Flink 的火热带出的流批一体架构，数据架构技术不断演进，本质是在往流批一体的方向发展，让用户能以最自然、最小的成本完成实时计算。底离注计按运计虫讨计鲜35 凰2.1 传统数仓架构这是比较传统的一种方式，结构或半结构化数据通过离线 ETL 定期加载到离线数仓，之后通过计算引擎取得结果，供前端使用。这里的离线数仓+计算引擎，通常是使用大型商业数据库来承担，例如 Oracle、DB2、Teradata 等。2.2 离线大数据架构随着数据规模的不断增大，传统数仓方式难以承载海量数据。随着大数据技术的普及，采用大数据技术来承载存储与计算任务。当然，也可以使用传传统数据库集群或 MPP 架构数据库来完成。例如 Hadoop+Hive/SparkOracleRAC、GreenPlum等...
