电脑桌面
添加小米粒文库到电脑桌面
安装后可以在桌面快捷访问

实时数仓VS离线数仓

实时数仓VS离线数仓_第1页
1/14
实时数仓VS离线数仓_第2页
2/14
实时数仓VS离线数仓_第3页
3/14
电话*传真 Ml紙质文件人和机实时数仓vs 离线数仓1、数据仓库的发展趋势1・1 数据仓库的趋势关于数据仓库的概念就不多介绍了。数据仓库是伴随着企业信息化发展起来的,在企业信息化的过程中,随着信息化工具的升级和新工具的应用,数据量变的越来越大,数据格式越来越多,决策要求越来越苛刻,数据仓库技术也在不停的发展。数据仓库的趋势:•实时数据仓库以满足实时化&自动化决策需求•大数据&数据湖以支持大量&复杂数据类型1.2 数据仓库的发展数据仓库有两个环节:数据仓库的构建与数据仓库的应用。早期数据仓库构建主要指的是把企业的业务数据库如 ERP、CRM、SCM 等数据按照决策分析的要求建模并汇总到数据仓库引擎中,其应用以报表为主,目的是支持管理层和业务人员决策(中长期策略型决策)。随着业务和环境的发展,这两方面都在发生着剧烈变化。随着 IT 技术走向互联网、移动化,数据源变得越来越丰富,在原来业务数据库的基础云计AL 大数宛、藪犯制上出现了非结构化数据,比如网站 log,loT 设备数据,APP 埋点数据等,这些数据量比以往结构化的数据大了几个量级,对 ETL 过程、存储都提出了更高的要求。互联网的在线特性也将业务需求推向了实时化,随时根据当前客户行为而调整策略变得越来越常见,比如大促过程中库存管理,运营管理等(即既有中远期策略型,也有短期操作型);同时公司业务互联网化之后导致同时服务的客户剧增,有些情况人工难以完全处理,这就需要机器自动决策,比如欺诈检测和用户审核。2、数据仓库架构的演变从 1990 年 Inmon 提出数据仓库概念到今天,数仓架构经历了最初的传统数仓架构离线数仓库离线大数据架构、Lambda 架构、Kappa 架构以及Flink 的火热带出的流批一体架构,数据架构技术不断演进,本质是在往流批一体的方向发展,让用户能以最自然、最小的成本完成实时计算。底离注计按运计虫讨计鲜35 凰2.1 传统数仓架构这是比较传统的一种方式,结构或半结构化数据通过离线 ETL 定期加载到离线数仓,之后通过计算引擎取得结果,供前端使用。这里的离线数仓+计算引擎,通常是使用大型商业数据库来承担,例如 Oracle、DB2、Teradata 等。2.2 离线大数据架构随着数据规模的不断增大,传统数仓方式难以承载海量数据。随着大数据技术的普及,采用大数据技术来承载存储与计算任务。当然,也可以使用传传统数据库集群或 MPP 架构数据库来完成。例如 Hadoop+Hive/SparkOracleRAC、GreenPlum等...

1、当您付费下载文档后,您只拥有了使用权限,并不意味着购买了版权,文档只能用于自身使用,不得用于其他商业用途(如 [转卖]进行直接盈利或[编辑后售卖]进行间接盈利)。
2、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。
3、如文档内容存在违规,或者侵犯商业秘密、侵犯著作权等,请点击“违规举报”。

碎片内容

实时数仓VS离线数仓

确认删除?
VIP
微信客服
  • 扫码咨询
会员Q群
  • 会员专属群点击这里加入QQ群
客服邮箱
回到顶部