可编辑范本数据仓库与数据挖掘技术答案一、简答1
为什么需要对数据进行预处理
数据预处理主要包括哪些工作(需要对数据进行哪些方面预处理)
( 1)现实世界的数据是杂乱的,数据多了什么问题会出现
数据库极易受到噪音数据(包含错误或孤立点) 、遗漏数据(有些感兴趣的属性缺少属性值或仅包含聚集数据)和不一致数据(在编码或者命名上存在差异)的侵扰,因为数据库太大,常常多达几G 或更多
进行数据预处理,提高数据质量,从而提高挖掘结果质量
( 2)数据预处理主要包括:数据清理:去除数据中的噪音、纠正不一致;数据集成:将数据由多个源合并成一致的数据存储,如数据仓库或数据方;数据交换: 规范化或聚集可以改进涉及距离度量的挖掘算法精度和有效性;数据归约: 通过聚集、 删除冗余特征或聚类等方法来压缩数据
数据离散化: 属于数据归约的一部分,通过概念分层和数据的离散化来规约数据,对数字型数据特别重要
什么叫有监督学习
什么叫无监督学习
监督学习( Supervised learning) 是通过发现数据属性和类别属性之间的关联模式,并通过利用这些模式来预测未知数据实例的类别属性
监督学习又称为分类Classification 或归纳学习 Inductive Learning
无监督学习( Unsupervised learning)即聚类技术
在一些应用中,数据的类别属性是缺失的,用户希望通过浏览数据来发现其的某些内在结构
聚类就是发现这种内在结构的技术
什么是数据仓库的星形模式
它与雪花模式有何不同
雪花模式与星形模式不同在于:雪花模式的维表可能是规范化形式,以便减少冗余
这种表易于维护, 并节省存储空间, 因为当维结构作为列包含在内时,大维表可能非常大
然而,与巨大的事实表相比,这种空间的节省可以忽略
此外, 由于执行查询更多的连接操作,雪花结构可能降低浏览的性能
这样系统的性能