数据中台技术方案 VIP免费

1数据中台技术方案本技术方案主要明确公司数据中台建设目标、建设原则、能力框架、技术要求和演进策略等内容，为公司数据中台建设提供技术指导。一、建设背景（一）建设现状当前公司信息内网建成了覆盖公司总部及27家省（市）公司的两级全业务统一数据中心分析域，初步具备了数据接入、数据存储计算、数据分析应用相关能力，实现公司核心业务系统数据的接入及整合汇聚，支撑了各专业数据分析类应用的构建。在数据接入方面：通过OGG、ETL等技术实现业务系统结构化数据接入至分析域贴源区，通过采集量测数据接入工具实现采集量测数据接入大数据平台。在数据存储方面：贴源历史层采用分布式关系型数据库（SG-RDB-MS）实现各业务系统贴源数据的存储。数据仓库层采用MPP数据库（GBase8a），基于统一数据模型（SG-CIM）实现部分数据标准化存储。数据集市层采用关系型数据库（SG-RDB-PG）实现分析计算后结果数据存储；采集量测数据采用大数据平台分布式列式数据库（Hbase）进行存储。2在数据计算方面：针对小规模数据计算分析需求，通过MPP数据库（Gbase8a）并行计算技术实现。针对大批量的离线计算需求通过大数据平台批量计算组件（MapReduce）实现。针对实时数据计算需求，通过大数据平台实时消息队列（kafka）、内存计算（Spark）、流计算（Storm）等组件实现。在数据应用方面：针对大数据分析应用需求，通过自助式分析工具、Tableau等工具实现。（二）存在问题当前分析域在各单位分析应用中发挥了一定的作用，但从应用角度来看仍存在技术门槛高、数据难读懂、数据获取难等问题，具体如下：1.技术组件多样，应用难度大。分析域主要包括数据接入、数据存储、数据计算等方面的21个技术组件，涉及厂商多，技术体系性差，组件之间技术集成复杂，相关工具友好性不足，对专业能力要求高，应用难度大。2.找数据困难，数据应用门槛高。一是当前分析域未形成完整的数据资源目录，数据资源检索困难；二是分析域目前尚未构建数据服务，数据应用复用性差，增加数据应用难度。3.一级部署系统数据获取难。当前总部数据下发通过人工方式实现数据全量及增量导出，再基于数据交换平台以文件形式下发，人工环节多，数据下发效率低下。34.数据模型管控机制不完善。当前全域数据模型尚不成熟，需要在应用过程中快速持续迭代；另外，数据模型管控基于人工线下流程处理，效率低，响应慢。（三）建设需求根据公司泛在电力物联网建设任务的需求，数据中台需以应用需求为导向，满足新增业务数据接入需求，支撑物联管理中心试点建设单位大量终端采集数据的接入和存储，促进电网、客户、产业、金融、国际化等各领域数据融通，面向各专业、各基层单位和外部合作伙伴提供开放共享服务，持续沉淀共性数据服务能力。二、建设目标（一）总体目标以应用需求为导向，沉淀共性数据服务能力，打造“数据可见、组件成熟、体系规范”的数据中台，面向公司各专业、各基层单位和外部合作伙伴提供敏捷开放的数据分析和共享服务，提升公司智慧运营和新业务创新能力，全面支撑“三型两网、世界一流”的战略目标落地。数据可见：重点打造数据分析共享服务化和数据应用工具化能力。转变原有分析域面向开发人员为主的传统思路，构建数据资产和数据服务目录、自助式报表工具、数据探索区等面向普通用户的开放性功能，达到吸引用户看数据、用数据的目的，促进数据中台持续迭代、良性发展。组件成熟：充分利用全业务统一数据中心的资源及数据4资产，借鉴业界成熟经验，补充相关技术产品和工具，以实用易用为出发点，打造简单成体系的技术支撑组件，夯实数据中台技术框架基础。体系规范：结合SG-CIM4.0模型成果，构建统一的元数据管理能力，落实运营团队的数据管理职责，形成一级管理、两级应用的元数据管理模式。重点推进主数据相关的标准物理模型强管控，打通数据接入工具、数据应用工具、数据管理平台，构建数据模型在线匹配、数据规则实时校验等数据质量管理功能，提升数据质量。（二）2019年建设目标2019年，协同国网云平台建设，内网侧初步构建总部数据中台，选取条件成熟的单位开展省（市）侧数据中台试点建设，外网侧在总部初步构...