下载后可任意编辑 学术讲座笔记 题 目：基于云计算的大数据挖掘 院 （系）： 信息与通信学院 专 业： 通信工程 学生姓名： 学 号： 主 讲 人： 史忠植 职 称： 讨论员 2024 年 10 月 11 日下载后可任意编辑随着信息技术的进展，云计算和大数据成为信息科技最新的亮点，云计算提供数据处理和信息共享的平台，而大数据考虑分析算法和系统的效率。互联网使得信息成为数据库，搜索引擎从海量语料库中发现知识。随着互联网、物联网、电视网、电信网、数字家庭等广泛应用与普及,以及生命科学、天文、地理等领域的进展，数据量将达到 Terabyte、Petabyte、甚至 Exabyte 级。如何快速、准确、实时、方便地从如此庞大的、分散的大数据中猎取所需要的知识，是当前面临的重要问题，是科学技术及产业领域讨论的前沿课题之一。 1 数据挖掘软件的进展代特征数据挖掘算法集成分布计算模型数据模型第一代作为一个独立的应用支持一个或者多个算法独立的系统单个机器向量数据第二代和数据库以及数据仓库集成多个算法：能够挖掘一次不能放进内存的数据数 据 管 理 系统 ， 包 括 数据 库 和 数 据仓库同质、局部区域的计算机群集有些系统支持对象,文本和连续的媒体数据第三代和预言模型系统集成多个算法数 据 管 理 和预 言 模 型 系统intranet/extranet网络计算支持半结构化数据和 web 数据第四代和移动数据/各种计算设备的数据联合多个算法数 据 管 理 、预 言 模 型 、移动系统移动和各种计算设备普遍存在的计算模型1.1第一代数据挖掘软件特点:⑴ 支持一个或少数几个数据挖掘算法；⑵ 挖掘向量数据（vector-valued data）；⑶ 数据一般一次性调进内存进行处理；⑷ 典型的系统如 Salford Systems 公司早期的 CART 系统。缺陷：假如数据足够大，并且频繁的变化，这就需要利用数据库或者数据仓库技术进行管理，第一代系统显然不能满足需求。新加坡国立大学。基于关联规则的分类算法，能从关系数据或者交易数据中挖掘关联规则，使用关联规则进行分类和预测。1.2 第二代数据挖掘软件特点：⑴ 与数据库管理系统（DBMS）集成；⑵ 支持数据库和数据仓库，和它们具有高性能的接口，具有高的可扩展性；⑶ 能够挖掘大数据集、以及更复杂的数据集；⑷ 通过支持数据挖掘模式（data mining schema）和数据挖掘查询语言增加系统的灵活性；下载后可任意编辑⑸ 典型的系统如 DBMiner，能通过 DMQL...
