二、大数据平台建设(一)大数据平台框架概述大数据平台建设充分整合信息化资源,打破行业、部门之间的信息壁垒,运用大数据技术进行采集、加工、建模、分析,将数据价值融入到金融之中,从而提升创新能力和产品服务能力
主要包括以下三部分:1.大数据分析基础平台按照功能划分数据区,设计数据模型,在统一流程调度下,整合各类数据,同现有的企业级数据仓库和历史数据存储系统一起,形成基础数据体系,提供支撑经营管理的各类数据应用,支撑上层应用
2.大数据应用系统基于基础数据平台,持续建设各类数据应用系统,通过数据挖掘、计量分析和机器学习等手段,对丰富的大数据资源进行开发使用,并将数据决策化过程结合到风控、营销、营运等经营管理活动,充分发挥大数据价值
3.大数据管控建立数据标准,提升数据质量,加强元数据管理能力,为平台建设及安全提供保障(二)大数据平台建设原则大数据平台是大数据运用的基础实施,其设计、建设和系统实现过程中,应遵循如下指导原则:经济性:基于现有场景分析,对数据量进行合理评估,确定大数据平台规模,后续根据实际情况再逐步优化扩容
可扩展性:架构设计与功能划分模块化,考虑各接口的开放性、可扩展性,便于系统的快速扩展与维护,便于第三方系统的快速接入
可靠性:系统采用的系统结构、技术措施、开发手段都应建立在已经相当成熟的应用基础上,在技术服务和维护响应上同用户积极配合,确保系统的可靠;对数据指标要保证完整性,准确性
安全性:针对系统级、应用级、网络级,均提供合理的安全手段和措施,为系统提供全方位的安全实施方案,确保企业内部信息的安全
大数据技术必须自主可控
先进性:涵盖结构化,半结构化和非结构化数据存储和分析的特点
借鉴互联网大数据存储及分析的实践,使平台具有良好的先进性和弹性
支撑当前及未来数据应用需求,引入对应大数据相关技术
平台性:归纳整理大数据需求,形成统一的大数据存储服务和大数据分析服