山东政务信息系统整合共享工程大数据管理平台

15山东省政务信息系统整合共享工程大数据管理平台项目需求和技术方案要求一、项目概况（一）建设目标通过大数据管理平台建设，建立统一的数据资源汇聚、数据治理、数据资源引擎和数据安全管理能力，实现大数据基础设施的集约共用和对全省政务信息资源的统筹管理和数据治理。将现有“逻辑集中、物理分散”数据共享交换方式向数据实体集中存储管理方式转变，建立完善的数据安全管理体系，实现由数据“资源”向数据“资产”的提升。（二）建设原则1.开放性平台应具备良好的开放性，提供开放接口便于和第三方系统对接或者基于该接口构建新的业务。2.先进性在设计理念和技术体系等方面需借鉴先进的互联网技术，确保应用系统架构满足未来业务发展需求。3.扩展性平台应具备规范的开发接口和高可扩展性，保证未来新的需求提出时可以方便地应用到现有系统中。4.可维护性平台应具备良好的维护性，方便今后的扩展应用和运行维护。5.安全性平台应具备高安全性，确保系统正常运行的同时防止政府内部数据泄露。（三）建设周期2 个月。（四）采购清单序号名称单位数量技术要求1数据汇聚系统项1具体要求见：数据汇聚系统建设内容。2数据治理系统项1具体要求见：数据治理系统建设内容。153数据资源引擎项1具体要求见：数据资源引擎建设内容。4数据安全管理建设项1具体要求见：数据安全管理建设内容。二、建设内容2.1 数据汇聚系统建设内容数据汇聚平台支持通过图形化的操作方式，把不同系统来源、不同类型的数据汇聚到大数据平台，能够兼容以 SHE(Spark、Hadoop、ElasticSearch)为首的大数据生态技术栈；并提供基础算子如关联、去重、过滤等完成数据转换。可以通过机器学习实现多人协作开发，提供脚本开发，工作流开发环境，能够针对任务资源实现共享以提升实施效率，可以提供基于消息流和文本的实时采集能力；提供精细化的任务调度管理，便于查看每个任务具体的数据处理情况，实现数据汇聚和加工处理一站式开发管理。2.1.1多源数据采集1)支持离线数据采集，实现对各种主流数据库系统的支持，如 Oracle、DB2、SQLServer、Sybase、InfoMix 等主流数据库，MySQL、PostgreSQL 等开源数据库，达梦、汉高、神通、GBase81、KingBase、LibrA 等国产数据库。2)支持提供触发器、时间戳、全表对比、系统日志分析等多种数据增量采集方式。3)支持大数据采集，实现 HBase 的输入输出转换组件，可连接的数据库类型支持HadoopHive，提供 HadoopHDFS 文件拷贝的任务组件。...