大数据处理平台构架设计说明书

1/14大数据处理平台及可视化架构设计说明书版本：1.0变更记录序号版本变更说明修改人/日期审批人/日期11.0创建李万鸿 2015-3-182/14目录11.文档介绍 31.1文档目的 31.2文档范围 31.3读者对象 31.4参考文献 31.5 术语与缩写解释 32 系统概述 43 设计约束 54 设计策略 65 系统总体结构 75.1大数据集成分析平台系统架构设计 75.2 可视化平台系统架构设计 116 其它 146.1数据库设计 146.2系统管理 146.3日志管理 143/1411.文档介绍1.1 文档目的设计大数据集成分析平台，主要功能是多种数据库及文件数据；访问；采集；解析清洗，ETL,同时可以编写模型支持后台统计分析算法。设计数据可视化平台，应用于大数据的可视化和互动操作。为此，根据“先进实用、稳定可靠”的原则设计本大数据处理平台及可视化平台。1.2 文档范围大数据的处理，包括 ETL、分析、可视化、使用。1.3 读者对象管理人员、开发人员1.4 参考文献1.5 术语与缩写解释缩写、术语解释BDBigdataSD系统设计，SystemDesign4/142 系统概述大数据集成分析平台,分为 9 个层次，主要功能是对多种数据库及网页等数据进行访采集、解析，清洗，整合、ETL,同时编写模型支持后台统计分析算法，提供可信的数据。设计数据可视化平台,分为 3 个层次，在大数据集成分析平台的基础上实现大实现数据的可视化和互动操作。5/143 设计约束1.系统必须遵循国家软件开发的标准。2■系统用 java 开发，采用开源的中间件。3. 系统必须稳定可靠，性能高，满足每天千万次的访问。4. 保证数据的成功抽取、转换、分析，实现高可信和高可用。6/144 设计策略1.系统高可用、高性能、易扩展，安全稳定，实用可靠，满足用户的需要。2.系统可以进行扩展，增加数据的种类和数量。3.系统可以复用别的软件和算法。7/145 系统总体结构5.1 大数据集成分析平台系统架构设计1.逻辑架构2 架构说明系统分为 9 个层次:1）数据源：CSMAR 数据库、高频系列数据库、量化因子仓库、风险控制模型数据库、量化舆情数据库、互联网的网页。2）数据获取层：接收数据源的数据和抓取网页，建立知识图谱将网页数据结构化，为K8/14人工和机器决策提供依据。3）数据导入层：通过 sqoop 把数据库的数据导入 hbase，用 flume、kafka 把网页导入hbase。4）数据加工层：对导入的数据进行清洗、抽取、整合，并存入数据核心存储层。5）数据核心存储层：采用 hbase、关系数据库保存加工后的数据。6）数据...