数据仓库数据架构分析报告VIP免费

综合纳税服务平台二期开发项目综合纳税服务平台二期开发项目福建省国家税务局福建省国家税务局Page2目录税务行业数据仓库现状数据仓库理解数据仓库的建设路线规划数据集市的建设路线规划部分省级税务局数据架构数据规划原则交易库数据量相对稳定查询统计与交易分离统一数据标准和口径集成的统一数据视图基于用户数据分析需求按业务类型分类管理预先处理，一次计算，多处共享效率优先，分区存储空间换时间，多维按分析主题分集市数据规划原则税务总局数据架构国税征管系统地税征管系统其它数据源区数据准备区ODS区数据仓库宏观税源分析征管状况分析其它集市数据集市在线历史数据区在线历史数据区近几个月数据近几个月数据近两年明细数据近两年明细数据其它数据区电子档案数据电子档案数据指标数据指标数据其它其它近十年数据近十年数据近十年分析数据近十年分析数据离线历史数据区离线历史数据区国税征管国税征管地税征管地税征管其它其它国税征管国税征管地税征管地税征管其它其它基础数据基础数据轻度汇总轻度汇总其它其它确保数据量相对稳定确保数据量相对稳定数据架构之交换层ETLETL地税源ORACLE国税源大集中大集中网络发票网络发票EXCEL等数据EXCEL等数据登记登记停业停业注销注销DJ_G……TY_G……ZX_G……ZX_KP_KJXXZX_KP_KJXX_MXZX_KP_NSRZT…………T_DJ_JGNSRT_FP_FPFSPZT_FP_FPFSPZMXT_DM_GYSWJG…………数据层总体架构数据架构之ODS层法人库T_DJ_JGNSRT_ZS_YZMXT_ZS_YZMX_LS发票库税务机关库T_DM_GY_SWJG仓库总体数据架构ODS数据整合区汇总区数据集市区数据层反馈区源数据源数据交换层DJ_G……TY_G……ZX_G……ZX_KP_KJXXZX_KP_KJXX_MXZX_KP_NSRZT…………T_DJ_JGNSRT_FP_FPFSPZT_FP_FPFSPZMXT_DM_GY_SWJG…………T_FP_FPFSPZT_FP_FPFSPZMXZX_KP_KJXXZX_KP_KJXX_MXZX_KP_NSRZT数据架构之交换层ETLETL地税源ORACLE国税源大集中大集中网络发票网络发票EXCEL非结构化数据EXCEL非结构化数据登记登记停业停业注销注销DJ_G……TY_G……ZX_G……ZX_KP_KJXXZX_KP_KJXX_MXZX_KP_NSRZT…………T_DJ_JGNSRT_FP_FPFSPZT_FP_FPFSPZMXT_DM_GYSWJG…………数据仓库数据架构ODS数据整合区汇总区数据集市区数据层反馈区源数据源数据交换层交换层广东省地税数据利用现状大集中个税管理其它在线发票外部数据数据源区确保数据量相对稳定确保数据量相对稳定分发广州数据广州数据明细数据明细数据数据仓库数据仓库汇总数据汇总数据加工税源综合管理系统税源综合管理系统任务管理任务管理复制决策支持准备数据决策支持准备数据明细数据明细数据数据仓库数据仓库汇总数据汇总数据加工块策支持系统块策支持系统基本查询基本查询基本分析基本分析纳税评估纳税评估业务快线业务快线纳税档案纳税档案综合分析综合分析文档管理文档管理名单管理名单管理监控预测监控预测疑点挖掘疑点挖掘分类管理分类管理复制发票准备数据发票准备数据明细数据明细数据数据仓库数据仓库轻度汇总轻度汇总ETL发票二期数据利用系统发票二期数据利用系统报表应用报表应用数据分析数据分析监控预警监控预警明细数据明细数据数据集市数据集市汇总数据汇总数据维度汇总查询统计查询统计复制直属分局相关数据直属分局相关数据明细数据明细数据汇总数据汇总数据直属分局税费监控平台直属分局税费监控平台报表应用报表应用会统分析会统分析社保监控社保监控查询统计查询统计•支持平台•支持数据源•数据转换功能•管理和调度功能•集成和开放性•管理元数据ETL工具比较ETL过程在整数据仓库应用过程中通常会占到80%的比重，可见其在数据利用系统建设中的重要性，下面从以下几个方给出业界主流的三种工具比较：ETL工具比较关键功能点InformaticaAscentialDataStage1：性能要求专用数据库驱动支持有大批量数据转移(调用数据库自身功能,load)支持没有，通过写脚本间接支持（7版后有针对不同数据库的loadstage）进程并发处理支持支持线程并发处理支持没有负载均衡PowerCenter支持没有对CPU、内存的可管理和分配支持没有稳定性在NT平台上不够稳定较好处理速度较快较好大数据量压力测试8~10G/小时较好2：调度任务调度计划支持有...