统计数据质量问题分析 统计数据质量问题分析 1、技术问题 由于具体数据处理的各技术环节异常所造成的数据质量问题，它产生的直接原因是技术实现上的某种缺陷
技术类数据质量问题产生的环节主要包括：数据创建、数据猎取、数据传递、数据装载、数据使用、数据维护等方面： 数据创建质量问题主要包括：创建数据默认值使用不当和数据录入的校验规则不当，导致指标统计结果不一致、数据无效、记录重复等； 数据传递质量问题主要包括：接口数据及时率低、接口数据漏传、网络传输过程不可靠，如包丢失、文件传输方式错误、传输技术问题、协议使用不当导致的数据不完整等； 数据装载质量问题主要包括：数据清洗算法、数据转换算法和数据加载算法的错误； 2、信息问题 由于对数据本身的描述、理解及其度量标准的偏差而造成的数据质量问题
产生这类数据质量问题的原因主要有：元数据描述及理解错误、数据度量的各种性质得不到保证、变化频度不恰当等
元数据描述及理解错误中的相关元数据主要包括： 业务元数据————主要包括业务描述、业务规则、业务术语、业务指标口径等； 技术元数据————主要包括接口法律规范、执行顺序、依赖关系、ETL 转换、数据建模和工具等方面的内容
数据度量和变化频度提供了衡量数据质量好坏的手段
数据度量主要包括完整性、唯一性、一致性、准确性、合法性
变化频度主要包括业务系统数据的变化周期和实体数据的刷新周期
3、流程问题 由于系统作业流程和人工操作流程设置不当造成的数据质量问题，主要来源于系统数据的创建流程、传递流程、装载流程、使用流程、维护流程等各环节： 创建流程质量问题主要指操作员数据录入时缺乏审核流程； 传递流程质量问题主要指通信流程沟通不畅； 装载流程质量问题主要指清洗流程缺乏/不当、调度流程逻辑错误、数据加载流程逻辑错误及数据转换流程逻辑错误； 使用流程质量问题主要指数据使用流程缺乏流程管理； 维护流程质
