1 机构编制数据综合分析系统技术需求1项目介绍机构编制数据综合分析系统是经国家发改委批复《全国机构编制管理系统一期项目》中的建设任务之一
(1) 业务需求一是服务中央编办领导和业务司局,汇聚全国机构编制部门内部数据资源和机构编制工作相关的外部数据资源,并提供专业的数据查询、 分析、监控和展现工具,便捷高效的应对相关业务要求
二是服务地方编办
各地编办为支持领导决策,各业务处室规范管理, 以及其他部门加强联合管控等,需要开展大量综合查询、分析监控和趋势预测工作, 进一步深化数据利用
三是服务电子政务中心,应对网络和信息安全保障需求,自动化采集和集中存储日志、终端和流量等安全数据,并对安全数据进行综合分析监控,追溯问题,查找风险,提升安全运维管理效率
(2) 技术需求采用 SOA的架构,将多维分析功能与数据存储结构分离
采用数据预处理技术, 从多种数据源 (包括业务应用系统、 电子档案数据源和外部数据源等) 中提取出有用的数据并进行清理,以保证数据的正确性,数据先存储在ODS数据库中,然后经过抽取(Extraction)、转换( Transformation )和装载( Load),即 ETL过程,合并到数据仓库里,得到机构编制数据的全局视图
数据仓库设计
以机构编制实名制数据和统一社会信用代码为主线,充分考虑元数据覆盖的不同业务形态,结合BI 分析要求,兼容并蓄做好数据仓库设计
大数据量支持
其中结构化存量数据约40TB,每年增加 10TB,非结构化存量数据 500TB,每年增加 50TB
按照三年增量设计
2 提供多维数据管理环境, 实现业务问题建模与多维业务数据分析
支持预警预测、即席查询、分析报表、分析报告,原则上在本部门权限内的支持向下钻取到明细数据, 非本部门权限的提供汇总数据
针对分析的结果提供导出功能
提供丰富的数据可视化展现服务
基础框架基于 UNIX下