【赛迪网－IT 技术报道】前言： 数据集成是把不同来源、格式和特点的数据在逻辑上或物理上有机地集中，从而为企业提供全面的数据共享，是企业商务智能、数据仓库系统的重要组成部分。ETL 是企业数据集成的饕饩龇桨浮Ｎ恼麓覧 TL 的概念出发，简要分析了当前ETL 中用到的一些基本技术，为 ETL 系统的开发和 ETL 技术的应用提供一些参考。 1.ET L 简介 随着企业信息化建设的发展，巨大的投资为企业建立了众多的信息系统，以帮助企业进行内外部业务的处理和管理工作。但是随着信息系统的增加，各自孤立工作的信息系统将会造成大量的冗余数据和业务人员的重复劳动。企业应用集成（EAI，Enterprise Application Integration）应运而生。EAI 通过建立底层数据交换平台来联系横贯整个企业的异构系统、应用、数据源等，完成在企业内部的 ERP、CRM、SCM、数据库、数据仓库，以及其它重要的内部系统之间无缝地共享和交换数据的需要。数据集成是企业应用集成的重要环节，企业实现数据集成，可以使更多的人更充分地使用已有数据资源，减少资料收集、数据采集等重复劳动和相应费用。 但是，在实施数据集成的过程中，由于不同用户提供的数据可能来自不同的途径，其数据内容、数据格式和数据质量千差万别，有时甚至会遇到数据格式不能转换或数据转换格式后丢失信息等棘手问题，严重阻碍了数据在各部门和各应用系统中的流动与共享。因此，如何对数据进行有效的集成管理已成为增强企业商业竞争力的必然选择。ETL 是实现数据集成的主要技术。 ETL 中三个字母分别代表的是Ex tract、Transform、Load，即抽取、转换、加载。（1）数据抽取：从源数据源系统抽取目的数据源系统需要的数据；（2）数据转换：将从源数据源获取的数据按照业务需求，转换成目的数据源要求的形式，并对错误、不一致的数据进行清洗和加工。（3）数据加载：将转换后的数据装载到目的数据源。 ETL 原本是作为构建数据仓库的一个环节，负责将分布的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成，最后加载到数据仓库或数据集市中，成为联机分析处理、数据挖掘的基础。现在也越来越多地将 ETL 应用于一般信息系统中数据的迁移、交换和同步。一个简单的 ETL 体系结构如图 1.1 所示。 2.E T L 中的关键技术 ETL 过程中的主要环节就是数据抽取、数据转换和加工、数据装载。为了实现这些功能，各个 ETL 工具一般会进...
