统计数据质量问题分析 统计数据质量问题分析 1、技术问题 由于具体数据处理的各技术环节异常所造成的数据质量问题，它产生的直接原因是技术实现上的某种缺陷。技术类数据质量问题产生的环节主要包括：数据创建、数据猎取、数据传递、数据装载、数据使用、数据维护等方面： 数据创建质量问题主要包括：创建数据默认值使用不当和数据录入的校验规则不当，导致指标统计结果不一致、数据无效、记录重复等； 数据传递质量问题主要包括：接口数据及时率低、接口数据漏传、网络传输过程不可靠，如包丢失、文件传输方式错误、传输技术问题、协议使用不当导致的数据不完整等； 数据装载质量问题主要包括：数据清洗算法、数据转换算法和数据加载算法的错误； 2、信息问题 由于对数据本身的描述、理解及其度量标准的偏差而造成的数据质量问题。产生这类数据质量问题的原因主要有：元数据描述及理解错误、数据度量的各种性质得不到保证、变化频度不恰当等。 元数据描述及理解错误中的相关元数据主要包括： 业务元数据————主要包括业务描述、业务规则、业务术语、业务指标口径等； 技术元数据————主要包括接口法律规范、执行顺序、依赖关系、ETL 转换、数据建模和工具等方面的内容。 数据度量和变化频度提供了衡量数据质量好坏的手段。数据度量主要包括完整性、唯一性、一致性、准确性、合法性。变化频度主要包括业务系统数据的变化周期和实体数据的刷新周期。 3、流程问题 由于系统作业流程和人工操作流程设置不当造成的数据质量问题，主要来源于系统数据的创建流程、传递流程、装载流程、使用流程、维护流程等各环节： 创建流程质量问题主要指操作员数据录入时缺乏审核流程； 传递流程质量问题主要指通信流程沟通不畅； 装载流程质量问题主要指清洗流程缺乏/不当、调度流程逻辑错误、数据加载流程逻辑错误及数据转换流程逻辑错误； 使用流程质量问题主要指数据使用流程缺乏流程管理； 维护流程质量问题主要指缺乏变更维护流程、缺乏错误数据维护流程、缺乏数据测试流程以及对人工后台调整数据没有严格的流程监控； 4、管理问题 由于人员素养及管理机制方面的原因造成的数据质量问题如： 数据库设计原则不严谨，数据使用不法律规范导致的业务数据重复，数据不一致。 人员培训所产生的质量问题主要指对数据质量相关人员缺少长期培训计划。 没有建立管理数据质量的专门机构，出现数据质量问题后无专人负责 没有明确的数据质量...
