下载后可任意编辑全面认识数据仓库1. 前言随着我行信息科技工作进入后蓝图时代,后线分析系统 注 1建设的需求会越来越高,将在快速响应、高效实施、灵活应变、信息统一、全局分析、深度挖掘、监管有力、报送及时、降低成本等方面提出更多新的挑战。面对蓝图成功投产后新的产品体系,如何统一规划全辖数据资源、整合后线产品架构、准备各项技术预研可能是将来信息科技工作的一个重心。数据仓库(DW)是各行业后线系统进展的一个重要方向,它在克服部门级应用的局限(数据分隔注 2、重复存储、重复中间加工过程注 3、维护工作繁琐、资源重复投入等)、满足全辖基础数据共享、提供全局分析视角和应用组件、支持快捷灵活和低成本的开发部署等方面有着不可替代的功能和地位。数据仓库本身有着不同视角的概念解释,大可涵盖整个企业级应用架构,小可专注于单纯的数据建模与存储;数据仓库涉及重多相关技术,如 ETL、数据模型设计、多维分析、数据挖掘等;数据仓库建设可能是一个复杂高难的全局性项目,正确的实施路径、策略、方法与有效的质量管理是项目成败的关键 ;另外,数据仓库系统实施后的管理与维护,也是保证各类后线应用系统长期顺利运行的重要因素。针对这些数据仓库相关的概念、技术、策略、方法等,可能并不是每个人都有比较全面的了解。因此有必要对这些做一个系统的介绍,1下载后可任意编辑使大家对数据仓库有一个全面清楚的认识。2. 数据仓库入门介绍 应用需求背景随着联机事务处理(OLTP)业务系统的深化应用,企业各类业务数据不断积累和丰富,越来越需要从大量数据中提取有价值的信息,以辅助决策和指导经营。管理信息系统(MIS)和早期的决策支持系统注 4(DSS)主要是基于传统的数据库技术和事务处理环境,这种系统结构随着业务系统建设规模的扩大、数据量的巨增和数据复杂度的提高,已无法满足综合分析型应用的需求,造成数据丰富而信息贫乏的困境。首先,人们逐渐认识到,分析处理和事务处理具有极不相同的性质,事务处理通常是对数据库进行联机的查询和修改操作,每笔交易的响应时间和数据的安全完整是关键;而分析型处理往往是对大规模历史数据的批量加工计算,数据的法律规范统一和整体时间窗口是重要关注点。因此直接采纳传统数据库技术和使用事务处理环境来支持分析型系统是不合适和失败的。两类系统的特点比较见表-1:事务处理型应用分析处理型应用很多用户少量用户小事务、频率高、时间短大事务、频率低、时间...