1 SQL SERVER CDC 增量数据抽取.2 版本历史 日期 版本 描述 作者 <26/04/2010 <1.0> SQL SERVER CDC 增量数据抽取方案拟制 刘建军, 3 目录 1、概述 ......................................................... 4 1.1、需求概述 ............................................. 4 1.2、场景分析 ............................................. 4 2、依赖关系 ..................................................... 5 3、服务方案 ..................................................... 5 3.1 设计的目标 .......................................... 5 3.2 相关关键技术说明 .................................... 5 3.3、报表服务方案 ........................................ 11 3.4 报表服务表结构 ....................................... 13 3.5 报表服务过程及其描述 ................................. 14 3.6 报表服务使用 ......................................... 14 4 1、概述 1.1、需求概述 本文档的主要目的是提出和测试报表服务实现,来提高 Q3 系统的报表统计性能。 该 服 务 方 案 主 要 参 考 ERP 报 表 服 务 方 案 , 并 结 合 Q3 系 统 与SQLServer2008 数据库的特点来实现,并尽量统一规划以提高该方案的兼容性。 1.2、场景分析 报表服务需要将要进行统计、分析的数据库某一业务相关数据在一段时间内的变化(增量数据),同步到报表服务中间库,并将统计结果报表同步更新,这就需要: 1. 报表中间库转储和引用业务库对象。 2. 同一数据库实例上不同数据库或分布式数据库的变更数据捕捉 3. 获得数据增量、并根据增量形成增量报表数据同步报表中间库。 4. 或直接同步报表中间库。 5. 业务执行的唯一性。 6. 抽取日志的记录的记录。 7. 增量数据日志记录清除。 8. 同步异常记录。 5 2、依赖关系 Q3 系统采用 SQLServer2008 数据库,并且该版本数据库提供了 CDC(change data capture)捕获变更数据的方法,并且提供了同义词和数据库级应用锁功能,结合排序函数,为在数据库级别上实现与 ERP 类似的报表服务提供了可能。 3、服务方案 3.1 设计的目标 Q3 的报表服务方案,要满足如下功能性和非功能性要求。 业务数据增量抽取。 增量数据合并(算法最优)。 增量抽取数据的准...