电话*传真 Ml紙质文件人和机实时数仓vs 离线数仓1、数据仓库的发展趋势1・1 数据仓库的趋势关于数据仓库的概念就不多介绍了
数据仓库是伴随着企业信息化发展起来的,在企业信息化的过程中,随着信息化工具的升级和新工具的应用,数据量变的越来越大,数据格式越来越多,决策要求越来越苛刻,数据仓库技术也在不停的发展
数据仓库的趋势:•实时数据仓库以满足实时化&自动化决策需求•大数据&数据湖以支持大量&复杂数据类型1
2 数据仓库的发展数据仓库有两个环节:数据仓库的构建与数据仓库的应用
早期数据仓库构建主要指的是把企业的业务数据库如 ERP、CRM、SCM 等数据按照决策分析的要求建模并汇总到数据仓库引擎中,其应用以报表为主,目的是支持管理层和业务人员决策(中长期策略型决策)
随着业务和环境的发展,这两方面都在发生着剧烈变化
随着 IT 技术走向互联网、移动化,数据源变得越来越丰富,在原来业务数据库的基础云计AL 大数宛、藪犯制上出现了非结构化数据,比如网站 log,loT 设备数据,APP 埋点数据等,这些数据量比以往结构化的数据大了几个量级,对 ETL 过程、存储都提出了更高的要求
互联网的在线特性也将业务需求推向了实时化,随时根据当前客户行为而调整策略变得越来越常见,比如大促过程中库存管理,运营管理等(即既有中远期策略型,也有短期操作型);同时公司业务互联网化之后导致同时服务的客户剧增,有些情况人工难以完全处理,这就需要机器自动决策,比如欺诈检测和用户审核
2、数据仓库架构的演变从 1990 年 Inmon 提出数据仓库概念到今天,数仓架构经历了最初的传统数仓架构离线数仓库离线大数据架构、Lambda 架构、Kappa 架构以及Flink 的火热带出的流批一体架构,数据架构技术不断演进,本质是在往流批一体的方向发展,让用户能以最自然、最小的成本完成实时计算
底离注计按运计虫讨计