数据中心质量保证方案 广东第二师范学院 第一章 引言 高校数据中心作为校情决策分析的数据来源，为保证数据中心的质量，通常需要进行数据处理,主要包括以下几个重要的步骤：数据审查、数据清洗、数据转换和数据验证四大步骤。 (一)数据审查 该步骤检查数据的数量(记录数)是否满足分析的最低要求,字段值的内容是否与调查要求一致,是否全面;还包括利用描述性统计分析,检查各个字段的字段类型、字段值的最大值、最小值、平均数、中位数等,记录个数、缺失值或空值个数等。 (二)数据清洗 该步骤针对数据审查过程中发现的明显错误值、缺失值、异常值、可疑数据,选用适当的方法进行“清冼”,使“脏”数据变为“干净”数据,有利于后续的统计分析得出可靠的结论。当然,数据清理还包括对重复记录进行删除。 (三)数据转换 数据分析强调分析对象的可比性,但不同字段值由于计量单位等不同,往往造成数据不可比;对一些统计指标进行综合评价时,如果统计指标的性质、计量单位不同,也 容易 引起 评价结果出现较 大误差 ,再 加 上 分析过程中的其 他一些要求,需要在 分析前 对数据进行变换,包括无 量纲 化 处理、线 性变换、汇总 和聚 集 、适度 概 化 、规 范 化 以及 属 性构 造等。 (四)数据验证 该步骤的目 的是初 步评估 和判 断 数据是否满足统计分析的需要,决定 是否需要增 加 或减 少 数据量。利用简 单的线 性模 型,以及 散 点 图 、直 方图 、折线 图 等图 形 进行探 索 性分析,利用相 关 分析、一致性检验等方法对数据的准确 性进行验证,确 保不把 错误和偏 差 的数据带 入 到 数据分析中去 。 第二章 数据质量的基本要素 首先，如何评估数据的质量，或者说怎么样的数据才是符合要求的数据？可以从4 个方面去考虑，这4 个方面共同构成了数据质量的4 个基本要素。 2.1 完整性 数据的记录和信息是否完整，是否存在缺失的情况。 数据的缺失主要有记录的缺失和记录中某个字段信息的缺失，两者都会造成统计结果的不准确，所以完整性是数据质量最基础的保障，而对完整性的评估相对比较容易。 2.2 一致性 数据的记录是否符合规范，是否与前后及其他数据集合保持统一。 数据的一致性主要包括数据记录的规范和数据逻辑的一致性。数据记录的规范主要是数据编码和格式的问题，比如教工号是7 位的数字、学号是11位的数字，性别码包括2 个类目、IP 地址一定是用”.”分隔...
