数据仓库(Data Warehouse)VIP专享VIP免费

数据仓库(DataWarehouse)北京科技大学武森数据仓库与数据挖掘2北京科技大学武森内容安排1数据仓库概述2多维数据模型3数据仓库的体系结构4数据仓库的数据组织5数据仓库的数据预处理6数据仓库应用举例数据仓库与数据挖掘3北京科技大学武森内容安排1数据仓库概述2多维数据模型3数据仓库的体系结构4数据仓库的数据组织5数据仓库的数据预处理6数据仓库应用举例数据仓库与数据挖掘5北京科技大学武森1.1数据仓库的产生与发展最早发轫于80年代初W.H.Inmon的研究，存在于其“记录系统”、“本原数据”、“决策支持数据库”等研究专题中[1]。数据仓库的具体概念是W.H.Inmon在1992年出版的《建立数据仓库》一书中提出的，目前它被认为是解决信息技术在发展中一方面拥有大量数据，另一方面有用信息却很贫乏这种不正常现象的综合解决方案。数据仓库与数据挖掘6北京科技大学武森1.2数据仓库的含义与特征数据仓库的含义(W.H.Inmon)“数据仓库是面向主题的、综合的、不同时间的、稳定的数据的集合，用以支持经营管理中的决策制定过程（Adatawarehouseisasubject-oriented,integrated,time-variant,andnonvolatilecollectionofdatainsupportofmanagement’sdecisionmakingprocess）”。数据仓库与数据挖掘7北京科技大学武森1.2数据仓库的含义与特征对数据仓库含义的理解通俗地讲，数据仓库就是企业内部一种专门的数据存储，专门用于支持分析型数据查询。（1）专门的数据存储以多维数据模型进行存储，该模型能够反映实际的商业分析需求，并支持预先未知的具体数据查询操作。（2）分析型数据查询工具数据仓库是Lotus1-2-3和MicrosoftExcel等工具的延伸与发展，目的在于使得分析能够更准确、更快速、更灵活、更有效，支持的数据量更大。数据仓库与数据挖掘8北京科技大学武森1.2数据仓库的含义与特征数据仓库的特征（1）数据仓库是面向主题的：传统数据库应用按照业务处理流程来组织数据，目的在于提高处理的速度。主题是一个在较高层次将数据进行归类的标准，满足该领域分析决策的需要。（2）数据仓库是集成性的：数据仓库中的数据来自于多个应用系统，不仅要统一原始数据中的所有矛盾，如同名异义，异名同义等，而且要将这些数据统一到数据仓库的数据模式上来。（3）数据仓库是随时间而变化的：数据仓库随着时间变化要不断增加新的内容。由于数据仓库常常用作趋势预测分析，所以需要保留足够长时间的历史数据，一般为5－10年。（4）数据仓库是稳定的：数据仓库的这种稳定性指的是数据仓库中的数据主要供企业决策分析之用，决策人员所涉及的数据操作主要是数据查询，一般情况下并不进行数据修改。数据仓库与数据挖掘9北京科技大学武森1.2数据仓库的含义与特征数据仓库还具有以下特点：（1）数据仓库中的数据量非常大。通常的数据仓库的数据量为10GB级，相当于一般数据库100MB的100倍，大型数据仓库的数据量可以达到一个TB（1000GB）。数据中索引和综合数据占2/3，原始数据占1/3[3]。（2）数据仓库是数据库技术的一种新的应用，而且到目前为止，数据仓库一般还是应用数据库管理系统来管理其中的数据。（3）数据仓库的使用人员较少。数据仓库与数据挖掘10北京科技大学武森1.3操作型数据库系统与数据仓库操作型数据库系统分析型数据仓库系统目的支持日常操作支持管理需求、获取信息使用人员办事员、DBA、数据库专家经理、管理人员、分析专家数据内容当前数据历史数据、派生数据数据特点细节的综合的，或提炼的数据组织面向应用面向主题存取类型增加、更改、查询、删除查询、聚集数据稳定性动态的相对稳定操作需求特点操作需求事先可知道操作需求事先不知道操作特点一个时刻操作一单元一个时刻操作一集合数据库设计基于ER图基于星型模式、雪花模式一次操作数据量一次操作数据量小一次操作数据量大存取频率比较高相对较低响应时间小于1秒~2、3秒几秒~几分钟数据仓库与数据挖掘11北京科技大学武森1.4数据仓库的基本结构可视化应用工具数据存储数据源OLAP数据挖掘01020304050607080901.Qrtl.2.Qrtl.3.Qrtl.4.Qrtl.OstWestNord数据仓库外部数据内部数据legacysystems“2001年与2000年相比产品P在地...