科研大数据平台项目技术建议书1.概述11.1.项目背景11.2.需求分析11.3.方案简述11.4.方案价值22.设计方案42.1.设计原则42.2.系统架构52.3.分布式数据库系统52.3.1.MPP+ShareNothing架构52.3.2.核心组件52.3.3.高可用62.3.4.高性能在线扩展72.3.5.高性能数据加载82.3.6.OLAP函数82.4.HADOOP集群92.4.1.Hadoop企业版92.4.2.HIVE分布式内存分析引擎92.4.3.HBASE分布式实时在线数据处理引擎102.4.4.Stream流处理引擎112.5.服务器虚拟化112.5.1.设计理念112.5.2.系统结构132.5.3.服务器虚拟化系统组成142.6.云管理平台142.6.1.浪潮云海OS架构图152.6.2.浪潮云海oS实现的功能152.7.爬虫软件182.7.1.建设网络爬虫私有云182.7.2.高效的分布式、协同化数据采集模式192.7.3.爬虫路线规划能力202.7.4.爬虫调度和负荷规划能力202.7.5.极致的开放兼容平台212.7.5.1.为什么需要开放的可集成的网页抓取软件212.7.5.2.集搜客网络爬虫的开放接口213.方案优势223.1.浪潮MPP数据库优势223.1.1.高性能223.1.2.高性价比223.1.3.高易用性223.2.浪潮HADOOP优势223.3.浪潮云计算优势223.3.1.运营效率提升223.3.2.服务水平提高233.3.3.实现数据中心的绿色节能233.3.4.分工细化使得终端用户只需专注自身业务233.3.5.降低总体拥有成本(TCO)233.3.6.可靠性提高243.3.7.性能强大243.3.8.扩展性好243.3.9.可管理性244.推荐配置251.概述1・1・项目背景通过本项目的实施与建设，在以服务科研工作为主导的原则下，基于高性能大数据软硬件设施，构建多样化、专业化、柔性化的科研数据服务应用平台。利用大数据技术，满足不同层级用户的需求，达到改善我校的科学研究环境与学科建设、提升我校的科研管理水平、提升我校针对物流行业的科研服务能力等目标。本项目分阶段实施，初期重点在于建立一个能满足业务需求的基于大数据的计算、存储以及通讯的硬件环境平台和数据管理架构。1・2・需求分析要构建多样化、专业化、柔性化的科研数据服务应用平台，现有架构很难承担日益增长的数据分析需求。迫切需要寻求一种全新的系统架构帮助我校满足日常业务及数据分析。并有效利用数据的价值，提高系统安全、系统高可用等。需求分析如下:寻求新的系统架构，从物理架构、数据架构、业务模型架构及应用架构等几方面满足业务需求。从全局及用户长远利益考虑，规划先进的大数据平台底层架构，满足大数据时代的业务需求。保护用户现有资源，考虑系统现状以及现有资源利用等，在系统建设中，充分考虑现有资源利旧。系统多平台整合，建设统一的底层平台，提高系统安全等保级别，规避系统单点风险。1・3•方案简述根据对背景及需求的分析，为了帮助我校能够更好地在大数据时代支撑大规模数据的应用，分别从物理架构及数据架构建设科研大数据平台系统。物理架构：采用虚拟化技术，为客户打造IaaS底层系统架构。数据架构：采用与客户习惯使用的SQL这种更易于理解的、交互性更好的访问接口，架构需要以MPP数据库及计算框架为核心，将MPP运算调度引擎完全融入非关系型运算调度框架，实现可以同时调度关系运算和非关系运算的调度引擎，构建统一的结构化信息提取和数据类型转换框架，将非结构化数据映射为关系模型，实现面向关系模型的全数据统一视图，从而平滑的实现MPP数据库和Hadoop的统一调度和处理，为新型的基础软件平台和上层应用提供数据服务。1.4.方案价值弹性扩展采用虚拟化技术做为底层资源抽象技术，为科研大数据平台动态提供基础计算存储、网络资源，同时运用云平台计算技术为云数据中心提供统一的管理和运维平台实现资源弹性服务、流转和管理。动态资源分配云计算被认为是分布式处理、并行处理以及网络计算的进一步发展，其使用虚拟机力度方式，根据应用的动态对资源进行增删。快速响应以并行计算为核心,按需调度计算任务分配和计算资源，并提供从数据导入整合处理计算模型设定到计算结果输出、多形式展现、应用API等完整的数据处理服务。高可用采用分布式存储系统，数据互备，快速备份和恢复。支持各种数据处理、计算模型，满足不同领域、不同特点的计算需求。多副本容错，数据安全无忧。数据分析构建大数据存储应用平台，围绕大数...
