数据挖掘——数据预处理VIP免费

数据挖掘与知识发现（复杂数据对象的数据挖掘与知识发现）4数据挖掘的预处理数据挖掘的困难所在NoiseSkeweddistributionMissingvalues(incompleteinfo)ScalabilityHighdimensionalityBiasindata...预处理在知识发现中所占份量预处理各种不同的数据源和数据对象数据的选择、集成与整合，对问题进行限定数据库中的数据具有噪声、缺值、不易至数据的去噪和规范化问题，提高挖掘精度数据的变换规范化、映射到不同的空间，提高挖掘效率数据的规约取出冗余、属性聚类来压缩数据数据的预处理是KDD&DM的重要步骤预处理的基本功能预处理主要是接受并理解KDD要求，确定发现任务抽取与发现任务相关的数据源，根据背景知识中的约束性规则对数据进行合法性检查通过清理和归约等操作，生成供挖掘核心使用的目标数据。它汇集了原始数据库中与发现有关的所有数据的总体特征，是知识发现状态空间的基底。4数据挖掘的预处理4.1数据选择与集成4.2数据清理4.4数据归约4.4数据变换4.5数据离散4.1数据选择分析需求和应用，了解业务背景确定分析主题数据库或数据仓库中选择索要分析的数据利用数据转换工具进行分析处理4.1数据集成将多文件或多数据库运行环境中的异构数据进行合并处理，解决语义的模糊性。解决数据的冲突问题以及不一致数据的处理问题。数据来自多个系统，存在着异构数据的转换问。多个数据源的之间还存在许多不一致的地方，如命名、结构、单位、含义等。因此，数据集成并非是简单的数据合并，而是把数据进行统一化和规范化处理的复杂过程。需要统一原始数据中的所有矛盾之处，如字段的同名异义、异名同义、单位不统一、字长不一致等，把原始数据在最低层次上加以转换、提炼和聚集。数据集成中还应考虑数据类型的选择问题，尽量选择占物理空间较小的数据类型。4.1数据集成——冗余冗余的原因：数据库设计，不同来源的数据引起的数据的相关性冗余检验：属性的相关性——属性A,B其相关性度量BABAnBbAAr)1)((,（）4.2数据清理4.1数据选择与集成4.2数据清理4.4数据归约4.4数据变换4.5数据离散4.2数据清理数据清理要去除源数据集中的噪声和无关数据处理遗漏数据和清洗脏数据去除空白数据域和知识背景上的白噪声考虑时间顺序和数据变化等，主要包括重复数据处理和缺值数据处理完成一些数据类型的转换。4.2数据清理数据清理可以分为有监督和无监督有监督过程是在领域专家的指导下，分析收集的数据，去除明显错误的噪音数据和重复记录，填补缺值数据；无监督过程是用样本数据训练算法，使其获得一定的经验，并在以后的处理过程中自动采用这些经验完成数据清理工作。4.2数据清理另一个重要内容是数据类型的转换，通常是指连续属性的离散化离散化方法有等距区间法、等频区间法和最大熵法。通过离散化，可以有效地减少数据表的大小，提高分类准确性。4数据挖掘的预处理4.1数据库与数据仓库4.2数据选择与集成4.3数据清理4.4数据归约4.5数据变换4.6数据离散4.4数据规约有些数据属性对发现任务是没有影响的，这些属性的加入会大大影响挖掘效率，甚至还可能导致挖掘结果的偏差。简化是在对发现任务和数据本身内容理解的基础上，寻找依赖于发现目标的表达数据的有用特征，以缩减数据规模，从而在尽可能保持数据原貌的前提下最大限度地精简数据量。4.4数据规约主要有两个途径：属性选择和数据抽样，分别针对数据库中的属性和记录。属性选择包括针对属性进行剪枝、并枝、找相关等操作。数据抽样是进行数据记录之间的相关性分析，用少量的记录基底的线性组合来表示大量的记录。它主要得用统计学中的抽样方法如简单随机抽样、等距抽样、分层抽样等。4.4数据规约——基于粗糙集理论的约简法粗糙集（RoughSet,RS）一种研究不精确、不确定性知识的数据学工具，目前受到了KDD研究者的广泛重视，用RS理论对数据时行处理是一种十分有效的精简数据维数的方法。我们所处理的数据一般存在信息的含糊性问题，含糊性有三种，术语的模糊性，知识自身的不确定性；数据的不确定性。4.4数据规约——基于粗糙集理论的约简法粗糙集（...