数据实时同步或抽取上收的技术分析(社保、电力营销、财政、税务征管、公安警务等地市数据省级大集中应用/异地灾备) 收藏 1 实现数据集中的技术手段分析比较 根据业界提供数据同步或抽取的解决方案来看，主要包括以下几大类： l 存储复制技术 l 数据库复制技术 l ETL 抽取技术 1.1 存储复制技术 实现原理 存储复制技术主要由磁盘阵列复制技术、主机卷复制技术以及一些文件复制技术。 存储复制方案的技术核心是利用存储阵列自身的盘阵对盘阵的数据块复制技术实现对生产数据的远程拷贝，从而实现生产数据的灾难保护。在主数据中心发生灾难时，可以利用灾备中心的数据在灾备中心建立运营支撑环境，为业务继续运营提供 IT 支持。同时，也可以利用灾备中心的数据恢复主数据中心的业务系统，从而能够让企业的业务运营快速回复到灾难发生前的正常运营状态。 基于存储的复制方案有两种方式：同步方式和异步方式，说明如下： 同步方式，可以做到主/备中心磁盘阵列同步地进行数据更新，应用系统的I/O 写入主磁盘阵列后(写入 Cache 中)，主磁盘阵列将利用自身的机制（如 EMC 的SRDF/S）同时将写 I/O 写入后备磁盘阵列，后备磁盘阵列确认后，主中心磁盘阵列才返回应用的写操作完成信息。 异步方式，是在应用系统的I/O 写入主磁盘阵列后(写入Cache 中)，主磁盘阵列立即返回给主机应用系统“写完成”信息，主机应用可以继续进行读、写 I/O 操作。同时，主中心磁盘阵列将利用自身的机制（如 EMC 的SRDF/A）将写 I/O 写入后备磁盘阵列，实现数据保护。 采用同步方式，使得后备磁盘阵列中的数据总是与生产系统数据同步，因此当生产数据中心发生灾难事件时，不会造成数据丢失。为避免对生产系统性能的影响，同步方式通常在近距离范围内（FC 连接通常是 200KM 范围内，实际用户部署多在 35KM 左右）。 而采用异步方式应用程序不必等待远程更新的完成，因此远程数据备份的性能的影响通常较小，所以一般可以到 100KM 左右。 采用基于存储数据复制技术建设复制方案的必要前提是： l 通常必须采用同一厂家的存储平台，通常也必须是同一系列的存储产品，给用户的存储平台选择带来一定的限制。 l 复制中心的主机平台也需要和生产中心为相同类型。 l 采用同步方式可能对生产系统性能产生影响，而且对通信链路要求较高，有距离限制，通常在近距离范围内实现（同城复制或园区复制方案） 因此，采用基于存储的数据复制技术...
