数据仓库模型建设规范10VIP免费

数据仓库模型建设规范 1. 概述 数据仓库不同于日常的信息系统开发,除了遵循其他系统开发的需求、分析、设计、测试等通常的软件生命周期之外，它还涉及到企业信息数据的集成,大容量数据的阶段处理和分层存储,数据仓库的模式选择等等,因此数据仓库的模型设计异常重要,这也是关系到数据仓库项目成败的关键。 物理模型就像大厦的基础架构,就是通用的业界标准,无论是一座摩天大厦也好,还是茅草房也好,在架构师的眼里,他只是一所建筑,地基—层层建筑—封顶,这样的工序一样也不能少,关系到住户的安全,房屋的建筑质量也必须得以保证,唯一的区别是建筑的材料,地基是采用钢筋水泥还是石头,墙壁采用木质还是钢筋水泥或是砖头;当然材料和建筑细节还是会有区别的,视用户给 出 的成本 而 定 ;还有不可 忽 视的一点 是,数据仓库的数据从 几 百 GB 到几 十 TB 不等,即 使 支 撑 这些 数据的RDBMS 无论有多 么 强 大,仍 不可 避免 地要考 虑 数据库的物理设计。 数据仓库建模的设计目标是模型的稳 定 性 、自 适 应 性 和可 扩 展 性 。为 了做 到这一点 ，必须坚 持 建模的相 对 独 立 性 、业界先 进 性 原 则 。 2. 数聚 模型架构 在数聚 项目实 施 过 程 ，我 们 一般 将 数据仓库系统的数据划 分为 如 下 图 所示 几 个 层次 。 2.1. 数据架构图 2.2. 架构工作方法规范 数据类型 抽取方式 转换方式 加载方式 表类型 变化类型 加载过程 1.有时间戳 2.数据量巨大 3.交易事务表 4.周期数据处 理 增量变化抽取 落地TMP 区 清洗转换 标识增删改 落地DCI 区 增量变化加载 维表 新增 新增代理键。插入记录 修改 如果须保留历史，新增代理键。插入记录 如果无须保留历史，根据代理键修改记录。 删除 若为逻辑删除，可等同修改，或在抽取时过滤。 若为物理删除，则增量抽取无法判断被删除。 事实表 新增 根据流水号删除目标表数据，查找代理键， 然后再加载增量变化数据. 修改 删除 一般来说，事实表数据不物理删除， 如果物理删除，增量抽取方式无法判断出来。 1.无时间戳 2.数据量小的表 3.代码表 4.主数据表 5.初始数据加载 全量抽取 落地TMP 区 清洗转换 落地DCI 区 全量加载 维表 只适合系统初始化数据加载， 不区分增删改 事实表 查找对应代理键，全部加载， 适合数据量小的场合，ETL 简单快捷。 清洗转换 获...