数据质量管理VIP专享

数据质量管理定义：是指对数据从计划、猎取、存储、共享、维护、应用、消亡生命周期的每个阶段里可能引发的各类数据质量问题，进行识别、度量、监控、预警等一系列管理活动，并通过改善和提高组织的管理水平使得数据质量获得进一步提高。目录1 数据质量管理2 数据质量管理评估维度3 分析影响数据质量的因素4MTC—DQM 数据质量管理的方法与步骤一数据质量管理数据质量管理是循环管理过程，其终极目标是通过可靠的数据提升数据在使用中的价值,并最终为企业赢得经济效益。二数据质量管理评估维度由于数据清洗（DataCleaning）工具通常简单地被称为数据质量（Data Quality）工具，因此很多人认为数据质量管理,就是修改数据中的错误、是对错误数据和垃圾数据进行清理.这个理解是片面的，其实数据清洗只是数据质量管理中的一步.数据质量管理（DQM），不仅包含了对数据质量的改善，同时还包含了对组织的改善.针对数据的改善和管理，主要包括数据分析、数据评估、数据清洗、数据监控、错误预警等内容；针对组织的改善和管理，主要包括确立组织数据质量改进目标、评估组织流程、制定组织流程改善计划、制定组织监督审核机制、实施改进、评估改善效果等多个环节.任何改善都是建立在评估的基础上，知道问题在哪才能实施改进.通常数据质量评估和管理评估需通过以下几个维度衡量。1 数据质量评估维度完整性 Completeness:完整性用于度量哪些数据丢失了或者哪些数据不可用。法律规范性 Conformity：法律规范性用于度量哪些数据未按统一格式存储.一致性 Consistency:一致性用于度量哪些数据的值在信息含义上是冲突的.准确性 Accuracy：准确性用于度量哪些数据和信息是不正确的，或者数据是超期的.唯一性 Uniqueness：唯一性用于度量哪些数据是重复数据或者数据的哪些属性是重复的。关联性 Integration：关联性用于度量哪些关联的数据缺失或者未建立索引。2 管理质量评估维度配置管理 Config Management：此维度用于度量数据在其生命周期内的一切资源是否得到了控制和法律规范，即数据的计划、产生、变更直至消亡的过程中,与数据相关的计划、法律规范、描述是否收到控制。评估指标包括：评估配置项的细化粒度、评估基线准确度和频度以及变更流程是否合理完善等。培训 Training：此维度用于度量数据的生产和使用者在数据生命周期内的一切活动中是否经过了知识和技能的培训、培训效果是否满足岗位需要;受训的知识和技能是否经过审核和确认，受训的内...