数 据 挖 掘 中 数 据 质 量 分 析 方 法 简 介 邮 政 电 信 行 业 部 徐 俊 军 产 品 研 发 中 心 贺 建 珲 北 京 华 胜 天 成 科 技 股 份 有 限 公 司 2008 年 6 月 电 信 精 确 营 销 系 统 设 计 方 案 V1.0 众 所 周 知 ， 在 BI 项 目 中 数 据 质 量 问 题 十 分 重 要 。 这 里 我 们 将 向 大 家 介 绍 数 据 挖 掘 中 使用 的 一 些 数 据 质 量 分 析 方 法 。 在 向 大 家 介 绍 数 据 挖 掘 相 关 技 术 的 同 时 ， 也 希 望 这 些 简 便 易 行的 方 法 能 够 对 大 家 在 BI 项 目 实 施 中 有 所 助 益 。 1 概 述 数 据 质 量 分 析 是 数 据 挖 掘 中 数 据 准 备 过 程 的 重 要 一 环 ， 是 数 据 探 索 的 前 提 。 我 们 常 说 ，“ Garbage in, Garbage out”。 数 据 质 量 的 重 要 性 无 论 如 何 强 调 都 是 不 过 分 的 。 没 有 可 信 的 数据 ， 数 据 挖 掘 构 建 的 模 型 将 是 空 中 楼 阁 。 1.1 数 据 质 量 检 查 的 目 的 数 据 挖 掘 的 数 据 质 量 分 析 是 以 数 据 的 提 供 信 息 的 正 确 性 和 有 效 性 为 目 标 ， 而 在 通 常 的BI 项 目 中 主 要 关 注 正 确 性 。 保 证 数 据 的 正 确 性 自 然 是 数 据 质 量 分 析 的 目 的 。但 数 据 挖 掘 中 数 据 质 量 重 点 关 注 的 是 对建 模 效 果 影 响大 小， 对 质 量 的 评估也 是 以 对 后续挖 掘 建 模 影 响为 原则。 如 在 电 信 客户流失分 析 时 ， 我 们 发现有 国际漫游通 话的 客户比例极小， 例如 只有 不 到0.01%的 客户有 此行 为 。 这 时 ， 即便 国际漫游通 话时 长的 统 计 正 确 性 毫无 问 题 ， 我 们 也 认为该变量 缺少 有 效 的 信 息 而 有 数 据 质 量 问 题 。 因 为 该变量 提 供 的 信 息 只可 能 对 最 多 0.01%的 客户产 生 影 响， 对 未 来 预 测 模 型 的 贡 献 实 在 太 微 乎 其 微 。 1.2 数 据 质 量...
