1 数据管理架构1.1 数据管理平台功能蓝图数据管理就是对交易中心现有的业务支撑系统的数据进行统一的数据管理、质量管控、并且通过标准的共享模式，实现核心数据统一存储，维护和使用的问题，提升交易中心现有数据的安全存储和高效使用等能力，并更加深入地进行数据挖掘等工作，为中心创造更多的价值。未来的数据管理平台将对中心现有系统的数据进行统一的数据的整合、数据的管控，并运用数据进行统一的服务管控来提升服务共享的水平，为中心的服务提供全方面的数据支撑。数据管理平台的功能蓝图如图所示:•数据整合域，是对现有业务系统的数据进行采集和清洗转换，并对采集过程中的数据进行质量检测，来确保整合数据的准确性和可靠性.•数据管控域，对采集到数据按照其不同的属性进行分类存储管控，对数据的质量、数据的安全以及信息的生命周期进行统一的管理，并对数据在使用过程的各种信息进行统计分析。•服务共享域，利用数据管理平台已有的数据资源，进行自定义的数据服务配置,定制出符合要求的服务，进行相关服务流程的编排，通过数据中心将服务进行发布。•服务管理域，主要是对提供的服务进行管理，包括服务应用的管理,服务流程的管割抿整合数抿苣控实时數据整附址議般扮悄总生1*1 阿理以及服务监控.1.2 数据集成数据整合就是将离散于各个业务系统中的数据进行集中化。数据整合阶段主要分为以下三个步骤执行:•数据类型识别根据业务使用情况分析目前各个系统中的数据实体,其中哪些是主数据，哪些是非主数据但需要共享的数据,哪些是私有数据。数据类型会作为制定同步规则和清洗规则的重要依据。•数据同步规则确定分析采集的各种数据需要达到的同步频率，从实时、准实时到天、月不等,针对不同的同步频率需求结合每次同步的数据量来选择同步方式，ETL（抽取-转化一加载）和 ESB（企业服务总线）分别适用于不同场景。ETL 本身也有多种具体的技术手段来实现各种情况下的同步，如 Hotplug、全表对比、时间戳等。在这里，将根据不同的数据类别和数据使用频度和需求频度等情况,制定出相应的数据同步的机制,采用实时数据整合和批量数据整合两种方式进行数据的整合。•数据清洗规则确定在进行数据整合过程中，由于不同系统中可能重复出现的数据,以及数据本身的缺失和错误等问题，为了避免由于不同系统中相同数据由于编码规则、格式之间的差异，在清洗过程中需要制定统一的数据清洗规则，对数据进行清洗和转换，确保数据管理平台中的数据能够...
