数据治理标准规范文档VIP免费

数据治理标准规范 2019-12-06 1 引言 1.1 概述 遵循国家、省、市标准规范要求，结合项目实际情况，制定适应项目数据特征及大数据应用要求的管理及维护体系，确保大数据的灵活可用性，适应未来数据扩展、海量数据增长及大数据发展的趋势，为项目数据资源的连通、共享、交互打好基础。本文是项目数据模型的命名，设计和管理规范。 1.2 文档目标  介绍主题模型命名规范  介绍主题模型数据类型定义规范  介绍主题模型布局规范  介绍主题模型注释及版本管理规范 1.3 适用读者 项目的参与成员，包括项目参与人员、客户参与人员、合作伙伴等希望了解本项目主题模型的人员可以参考本文档。 2 术语和定义  STG：stage，数据缓冲区。  ODS：operational data store，数据标准化层。  DWD：data warehouse detail，数据仓库明细层。  DWS：data warehouse subject，数据仓库主题层。  ADM：analysis data market，数据专题层。 3 设计目标 3 .1 业务目标 将基础数据作为一个公共服务，为用户提供公共数据服务支撑，帮助数据应用提升获取数据的效率，降低数据加工的深度和复杂度；提升各个产品和应用间数据的一致性。主要包括以下几方面的内容：  将业务系统数据同步进入到ODPS，建立统一、一致、唯一的ODS 数据层  实现通用模型层（DWD、DWS）逻辑的加工和转换。 3 .2 技术目标 在满足业务目标的同时，在数据模型设计上，重点关注以下目标： 1、成本：模型设计者必须平衡性能和成本要素对数据模型的影响，尤其是海量数据情况下，在保障业务和性能的前提下，应该使用合理的数据模型方案和存储策略，尽量消除不必要的数据复制和冗余。 2、性能：模型设计者需要兼顾模型刷新性能开销、产出时间和访问性能。 3、数据一致性和数据互通：各个数据模型或者数据表之间保障数据输出的一致性，相同粒度的相同数据项（指标、维度）具有相同的字段名称和业务描述，不同算法的业务指标应显性化区分。 4、数据质量：数据模型需要屏蔽源头垃圾数据源，一方面要保障数据本身的高质量，减少数据缺失、错误、异常等情况发生；另一方面需要保障其对应的业务元数据的高质量，数据有明确的业务含义，为数据使用者提供正确的指引。 5、易用：在保障以上目标的前提下，数据用户能从业务角度出发快速找到所需的数据；能较快的掌握模型的适用场景和使用方法；能相对便捷获取数据。但是，在目标出现冲...