1MIS系统目标功能模式1.1数据仓库架构数据仓库以及建立在数据仓库基础之上的OLAP和数据挖掘应用是满足现代商业银行管理信息系统很好的技术解决方案。所以,在我们逐一讨论银行管理信息系统和分析型客户关系管理系统之前,首先让我们了解一下数据仓库的一般架构,如下图所示:1.1.1图1数据仓库一般架构源系统数据源指存储从OLTP(联机事务处理)系统来的事务数据的数据存储库。数据源可能包括综合业务系统、信贷管理系统、网银系统、龙卡交换中心、个人信贷信息系统等作业系统以及外部数据源。这些数据源必然包含不同的语义定义和格式。在某些情况下,在不同的系统之间会出现冗余的数据,这些信息的共享和协调并没有被合理的配置。正是因为这个原因,某一个可以为银行各个部门以及其它信息用户提供一致的、无冗余的、可靠的集中化的信息基础架构将给某银行带来增值利益。数据源代表了运营和事务处理(OLTP)业务应用所搜集和存储的数据。数据仓库一般从一个单一的数据源开始,或者从能满足初始报表和分析需求的最少的源系统1抽取转换GUI查询应用报表工具上载SQL,API用户数据接口ODS数据整合(ETL)操作数据存储表现层源系统2源系统3清洗应用层报表应用OLAP应用API,HTML、文件SQL,API数据集市多维数据存储元数据元数据库(业务和技术方面)资源和管理元数据库(业务和技术方面)资源和管理数据挖掘应用信息总线其它源系统数据仓库监控及管理数据仓库监控及管理源系统4源系统1抽取转换GUI查询应用报表工具上载SQL,API用户数据接口ODS数据整合(ETL)操作数据存储表现层源系统2源系统3清洗应用层报表应用OLAP应用API,HTML、文件SQL,API数据集市多维数据存储元数据元数据库(业务和技术方面)资源和管理元数据库(业务和技术方面)资源和管理数据挖掘应用信息总线其它源系统数据仓库监控及管理数据仓库监控及管理源系统4数据源开始,然后在数据仓库的整个生命周期内扩展到一个互动式的情况以包含更多的数据源和外部系统(如有必要)。1.1.2ETL1.1.2.1抽取抽取是指识别最佳的数据源,并从中获得所需的数据。它是将数据导入数据仓库的第一步。抽取意味着读取并理解源数据,并复制数据仓库所需要的部分。它由以下选择、全抽取、Delta抽取等功能组成。1.1.2.2转换转换包含很多不同的技术和步骤;它泛指使数据仓库信息适合于终端使用的过程。这一过程包括那些将源数据格式变为目标数据库格式的模块。转换是选择变更或操作数据的过程。一般而言,转换包括映射、清洗、汇总、重排和排序等步骤。转换过程中使用的业务规则必须在元数据中加以捕捉和保存以确保对数据有一个恰当和一致的理解。1.1.2.3加载加载是指将转换好的数据放入数据仓库中的过程。通过批加载工具处理大批量和预排序数据,可以优化数据加载的性能。1.1.2.4ETL元数据ETL元数据提供了管理用于源系统到ODS,ETL的映射和转换规则的工具。元数据能够帮助用户理解数据含意,数据是如何到达用户的,之间发生了什么事情业务用户需要理解他们访问的数据。ETL部分的元数据大致会包含下列内容:数据源和ODS数据之间的映射关系ETL过程描述参数(包括抽取、清洗、衍生、汇总、变形的逻辑)数据加载计划数据加载纪录(如日志、时间标签等)1.1.3操作数据存储(ODS)ODS是一个集成和集中化的数据存储,它由多个主题的企业级数据组成,包括低层的、细粒度的、为报表目的而长期保存的数据。ODS必须以关系型数据库来存储和管理数据,最佳的结构通常是按照与业务远景和战略一致的主题而划分的第三范式。1.1.3.1ODS元数据ODS所需的元数据主要是银行范围的实体关系模型或逻辑数据模型(LDM)。ETL元数据将元数据域映射到数据仓库数据域(属性),在ETL过程中提供转换、清洗、确认和整合的规则,作为业务需求的解决。1.1.4多维数据存储(数据集市)数据集市代表用多维模型存储的数据,这些数据为不同的应用服务器和IT用户提供汇总数据。数据集市是针对某一特定主题、部门或用户类别的一组数据集合。这些数据经过优化以达到快速访问和分析报告的目的;因此,数据结构是高度汇总并具有索引的。一般来说,数据集市所包含的历史数据要比ODS少得...