1. 信息资源标准化数据标准化主要实现了数据格式、内容和语义的映射、转换,实现编码一致化、面对主题集成、数据聚合等功能。通过数据交换、采集,形成的基础业务数据,通过数据整合进一步的数据ETL(数据抽取、转换、加载),根据定制的标准信息法律规范进行匹配映射(Match)、数据格式转换(Transform),并对重复数据进行数据清洗(Cleanse)、过滤(Filtrate)、聚合(Aggregate),最后多维加载(Load)后形成标准化数据.采纳数据同步工具和 ETL 工具完成数据抽取、同步等整合工作,并通过任务调度管理实现对整合工具的集中管理和执行.数据采集时可以按信息资源平台的要求将数据标准化。在采集抽取数据时没有按信息资源平台转换为标准数据的数据,需要按信息资源平台的要求转换成标准的数据如字典的统一。2. 数据加工管理2.1.数据抽取数据抽取是利用抽取工具,建立抽取模型,将多个数据源数据汇总到一个数据库的过程。2.2.数据清洗由于数据来自多个业务系统,而且包含历史数据,需要根据一定的规划把数据进行清洗,整个数据清洗的对象应包括不完整的数据、错误的数据、重复的数据等三大类.2.3.数据转换数据转换主要实现数据标准化的过程,信息资源平台的数据,来自多个业务系统,有些数据源没有根据统一的标准法律规范设计,因此会造成数据难以与其他数据共享。数据转换应实现根据统一的数据标准和既定的格式转换规则,对数据的整理和格式统一.2.4.数据装载数据装载操作效率是数据资源平台需要考虑的重要环节。投标人应详细描述针对本项目的不同数据资源所应采纳的数据装载策略.2.5.数据标识数据标识主要为了突出数据的关键性信息,便于实时的统计和更有效的比对,进而猎取符合用户业务办理相关的结果.3. 数据整合处理系统3.1.数据处理流程数据中心的构建,基础和核心的工作是需要对来自各方的数据进行充分的整合和处理,对猎取的各类源数据,需要进行大量的数据梳理、分析,并作相关的数据整理工作,通过数据梳理和转换工作,把不同来源的数据基于数据标准,转换成标准化数据后,再进行入库,从而保证进入数据中心的数据质量,不产生垃圾数据,从而为数据中心的全局应用奠定基础.数据处理的流程如下图所示:数据的处理流程主要如下:1、猎取源数据通过数据共享交换对接和实施,猎取各单位的原始数据,并暂存在数据缓冲库中,这部分的数据结构和原始数据的数据结构相同。2、数据整合处理对缓冲库中存储的数据,基于数据标准,对原始的数据进行整合处理,包括企业...