电脑桌面
添加小米粒文库到电脑桌面
安装后可以在桌面快捷访问

元数据管理与数据质量平台VIP免费

元数据管理与数据质量平台_第1页
1/23
元数据管理与数据质量平台_第2页
2/23
元数据管理与数据质量平台_第3页
3/23
1.1.1数据质量管理架构数据质量问题一直是困扰数据仓库发挥积极作用的重要因素,在数据仓库建设之初就应当从战略角度对数据质量体系进行规划。1.1.1.1数据质量基础定义1.1.1.1.1完整性数据的完整性:为实现业务目的而设计组织的数据模型是否完全,是否覆盖各个方面。例如:对一个业务,一个客户,一个产品,一个营销活动,一个客户的性质等进行缺失考察。例如,客户名称有姓无名等,客户档案是否齐全,是否客户所有业务都包含在内等。完整性破缺主要发生在实体或对象的属性上和整个数据缺失两种情况。完整性列表:数据完整性,例如属性数据是否残缺,数值类型数据是否有空数据业务完整性,例如是否有些业务没有包含在内,是否涵盖所有生产系统和必要的外部数据(例如竞争数据,保监会数据),是否覆盖所有客户(例如是否覆盖全部客户)设计完备性,设计是否完善模型的完备性数据字典完备性映射关系完备性业务规则是否完备元数据完备性加工层次完整性,加工过程中重要的中间数据是否保存,例如,有月统计数据,考察日数据是否存在?粒度完整性,重要经营指标各个粒度数据应该完善第1页共23页编号:时间:2021年x月x日书山有路勤为径,学海无涯苦作舟页码:第1页共23页1.1.1.1.2有效性指数据包含了一个有效的数据格式或值1.1.1.1.3一致性数据的一致性是一个长期的困难。建立数据仓库的核心目的之一也是争取解决这个问题。一致性定义为各个系统数据的统一,定义为数据仓库系统内数据定义的统一。一致性还表现在定义和口径的一致性。数据库一致性,设计上是否有多种存储并存,各类统计口径是否统一冗余和星型模型以及非第三范式一致性保证措施和源数据一致性1.1.1.1.4唯一性唯一性定义为系统数据定义的唯一性。由于数据仓库技术不一定受第三范式约束,可能具有相当的冗余,但数据冗余不能违反定义的唯一性原则。对于哪些既存在于关系数据库又在多维数据库中表现的数据和指标要特别注意,因为极容易由于生成的时间差造成不一致。唯一性至少应当向系统的用户说明最终的数据评判标准,数据的冗余和评判应当是元数据管理的重要内容。1.1.1.1.5正确性数据正确是决策的关键,数据不正确,数据仓库项目就等于失败。但数据的正确性难以通过自身检查。应该对重要数据和重要统计设立正确性检查。主要方法是:数据自身统计检验纵向对比检验数据间按逻辑交叉检验第2页共23页第1页共23页编号:时间:2021年x月x日书山有路勤为径,学海无涯苦作舟页码:第2页共23页横向对比校验主要检查的内容:ETL过程正确性加工过程正确性数据整合正确性模型正确性展现正确性查询正确性核对过程是否充分1.1.1.1.6准确性数据的正确性基础上才有意义讨论准确性。准确性包括精度和近似规则。精度:系统定义的数据必须满足的精确性要求。例如,客户生日,可以精确到年,或月,或日;全局收入统计或许到万元即可,也许到角分。1.1.1.1.7可用性数据的可用性不是一个简单数据质量问题,而是系统质量问题,所有质量因素都可能影响到可用性。数据的可用性主要体现在使用的效率上1.1.1.1.8时效性1.1.1.1.9清晰性数据的清晰性考验系统元数据的精度。元数据必须清晰定义每一个数据的来龙去脉。必须没有歧义。1.1.1.1.10充足性数据的充足性定义在保证数据正确性和准确性基础上是否能对主要业务专题第3页共23页第2页共23页编号:时间:2021年x月x日书山有路勤为径,学海无涯苦作舟页码:第3页共23页提供足够的数据进行足够精度的分析需求。例如,进行时间序列分析通常需要至少36个连续时间单位的数据,是否能够提供这个时间序列。数据积累是否足够广泛,例如设计上虽然包含了足够宽广的业务领域,但每项业务的数据是否真的收集到了足够多,数据积累是否足够时间,充足性的特殊情况,是否收集了足够时间长度的数据元数据和字典数据的充足性,描述性是否足够1.1.1.2数据质量保证框架1.1.1.2.1战略战略–从企业战略方向主动的考虑数据质量状况。战略的意义:提供了战略上的、可操作的数据质量保障方向识别企业数据的关键因素指明数据质量的范围战略的范围:策略:包含以下方面的内容,第4页共23页第3页共23页编号:时...

1、当您付费下载文档后,您只拥有了使用权限,并不意味着购买了版权,文档只能用于自身使用,不得用于其他商业用途(如 [转卖]进行直接盈利或[编辑后售卖]进行间接盈利)。
2、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。
3、如文档内容存在违规,或者侵犯商业秘密、侵犯著作权等,请点击“违规举报”。

碎片内容

元数据管理与数据质量平台

确认删除?
VIP
微信客服
  • 扫码咨询
会员Q群
  • 会员专属群点击这里加入QQ群
客服邮箱
回到顶部