电脑桌面
添加小米粒文库到电脑桌面
安装后可以在桌面快捷访问

数据中台技术方案 VIP免费

数据中台技术方案 _第1页
1/22
数据中台技术方案 _第2页
2/22
数据中台技术方案 _第3页
3/22
1数据中台技术方案本技术方案主要明确公司数据中台建设目标、建设原则、能力框架、技术要求和演进策略等内容,为公司数据中台建设提供技术指导。一、建设背景(一)建设现状当前公司信息内网建成了覆盖公司总部及27家省(市)公司的两级全业务统一数据中心分析域,初步具备了数据接入、数据存储计算、数据分析应用相关能力,实现公司核心业务系统数据的接入及整合汇聚,支撑了各专业数据分析类应用的构建。在数据接入方面:通过OGG、ETL等技术实现业务系统结构化数据接入至分析域贴源区,通过采集量测数据接入工具实现采集量测数据接入大数据平台。在数据存储方面:贴源历史层采用分布式关系型数据库(SG-RDB-MS)实现各业务系统贴源数据的存储。数据仓库层采用MPP数据库(GBase8a),基于统一数据模型(SG-CIM)实现部分数据标准化存储。数据集市层采用关系型数据库(SG-RDB-PG)实现分析计算后结果数据存储;采集量测数据采用大数据平台分布式列式数据库(Hbase)进行存储。2在数据计算方面:针对小规模数据计算分析需求,通过MPP数据库(Gbase8a)并行计算技术实现。针对大批量的离线计算需求通过大数据平台批量计算组件(MapReduce)实现。针对实时数据计算需求,通过大数据平台实时消息队列(kafka)、内存计算(Spark)、流计算(Storm)等组件实现。在数据应用方面:针对大数据分析应用需求,通过自助式分析工具、Tableau等工具实现。(二)存在问题当前分析域在各单位分析应用中发挥了一定的作用,但从应用角度来看仍存在技术门槛高、数据难读懂、数据获取难等问题,具体如下:1.技术组件多样,应用难度大。分析域主要包括数据接入、数据存储、数据计算等方面的21个技术组件,涉及厂商多,技术体系性差,组件之间技术集成复杂,相关工具友好性不足,对专业能力要求高,应用难度大。2.找数据困难,数据应用门槛高。一是当前分析域未形成完整的数据资源目录,数据资源检索困难;二是分析域目前尚未构建数据服务,数据应用复用性差,增加数据应用难度。3.一级部署系统数据获取难。当前总部数据下发通过人工方式实现数据全量及增量导出,再基于数据交换平台以文件形式下发,人工环节多,数据下发效率低下。34.数据模型管控机制不完善。当前全域数据模型尚不成熟,需要在应用过程中快速持续迭代;另外,数据模型管控基于人工线下流程处理,效率低,响应慢。(三)建设需求根据公司泛在电力物联网建设任务的需求,数据中台需以应用需求为导向,满足新增业务数据接入需求,支撑物联管理中心试点建设单位大量终端采集数据的接入和存储,促进电网、客户、产业、金融、国际化等各领域数据融通,面向各专业、各基层单位和外部合作伙伴提供开放共享服务,持续沉淀共性数据服务能力。二、建设目标(一)总体目标以应用需求为导向,沉淀共性数据服务能力,打造“数据可见、组件成熟、体系规范”的数据中台,面向公司各专业、各基层单位和外部合作伙伴提供敏捷开放的数据分析和共享服务,提升公司智慧运营和新业务创新能力,全面支撑“三型两网、世界一流”的战略目标落地。数据可见:重点打造数据分析共享服务化和数据应用工具化能力。转变原有分析域面向开发人员为主的传统思路,构建数据资产和数据服务目录、自助式报表工具、数据探索区等面向普通用户的开放性功能,达到吸引用户看数据、用数据的目的,促进数据中台持续迭代、良性发展。组件成熟:充分利用全业务统一数据中心的资源及数据4资产,借鉴业界成熟经验,补充相关技术产品和工具,以实用易用为出发点,打造简单成体系的技术支撑组件,夯实数据中台技术框架基础。体系规范:结合SG-CIM4.0模型成果,构建统一的元数据管理能力,落实运营团队的数据管理职责,形成一级管理、两级应用的元数据管理模式。重点推进主数据相关的标准物理模型强管控,打通数据接入工具、数据应用工具、数据管理平台,构建数据模型在线匹配、数据规则实时校验等数据质量管理功能,提升数据质量。(二)2019年建设目标2019年,协同国网云平台建设,内网侧初步构建总部数据中台,选取条件成熟的单位开展省(市)侧数据中台试点建设,外网侧在总部初步构...

1、当您付费下载文档后,您只拥有了使用权限,并不意味着购买了版权,文档只能用于自身使用,不得用于其他商业用途(如 [转卖]进行直接盈利或[编辑后售卖]进行间接盈利)。
2、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。
3、如文档内容存在违规,或者侵犯商业秘密、侵犯著作权等,请点击“违规举报”。

碎片内容

数据中台技术方案

您可能关注的文档

确认删除?
VIP
微信客服
  • 扫码咨询
会员Q群
  • 会员专属群点击这里加入QQ群
客服邮箱
回到顶部