实验一 数据预处理 一、实验目得 1、熟悉 VC++编程工具与完全数据立方体构建、联机分析处理算法。 2、浏览拟被处理得得数据,发现各维属性可能得噪声、缺失值、不一致性等,针对存在得问题拟出采纳得数据清理、数据变换、数据集成得具体算法。3、用 VC++编程工具编写程序,实现数据清理、数据变换、数据集成等功能。 4、调试整个程序获得清洁得、一致得、集成得数据,选择适于全局优化 得参数。 5、写出实验报告。二、实验原理 1、 数据预处理现实世界中得数据库极易受噪音数据、遗漏数据与不一致性数据得侵扰,为提高数据质量进而提高挖掘结果得质量,产生了大量数据预处理技术。数据预处理有多种方法:数据清理,数据集成,数据变换,数据归约等。这些数据处理技 术在数据挖掘之前使用,大大提高了数据挖掘模式得质量,降低实际挖掘所需要 得时间。2、数据清理 数据清理例程通过填写遗漏得值,平滑噪音数据,识别、删除离群点,并解 决不一致来“清理”数据。 3、数据集成 数据集成将数据由多个源合并成一致得数据存储,如数据仓库或数据立方 体。 4、数据变换 通过平滑聚集,数据概化,法律规范化等方式将数据转换成适用于数据挖掘得形式。 5、数据归约使用数据归约可以得到数据集得压缩表示,它小得多,但能产生同样(或几乎同样得)分析结果。常用得数据归约策略有数据聚集、维归约、数据压缩与数 字归约等。三、实验内容与步骤1、实验内容1、用 VC++编程工具编写程序,实现数据清理、数据变换、数据集成等功能,并在实验报告中写出主要得预处理过程与采纳得方法。 2、产生清洁得、一致得、集成得数据。 3、在试验报告中写明各主要程序片段得功能与作用。2、实验步骤 1)认真讨论与审查数据,找出应当包含在您分析中得属性或维,发现数据 中得一些错误、不寻常得值、与某些事务记录中得不一致性。2)进行数据清理,对遗漏值、噪音数据、不一致得数据进行处理。 例如: 1、日期中得缺失值可以根据统一得流水号来确定。 2、购买得数量不能为负值。 3)进行数据集成与数据变换与数据归约,将多个数据源中得数据集成起来, 减少或避开结果数据中得数据冗余或不一致性。并将数据转换成适合挖掘得形 式。 例如: 1、进行完数据清理后发现购买数量、销售价格、总额就是相互关联得项可以 去掉总额。 2、三个流水表日期得格式不一样应统一成相同得日期格式。 3、门号与 pos 机号码一样,可以去掉一个。 4、附加:同一购物篮得商品序号应该就是顺序...
