科研大数据平台项目技术建议书目录1.概述ﻩ11.1．项目背景.....................................................................................................................................11.2.需求分析.....................................................................................................................................11．３．方案简述..............................................................................................................................１1.4.方案价值ﻩ２2.设计方案............................................................................................................................42.1．设计原则ﻩ４2.2.系统架构ﻩ5２.3．分布式数据库系统...................................................................................................................5２.3.1.MPP＋ShａreNoｔｈｉnｇ架构ﻩ52.3．2．核心组件ﻩ6２.3.3．高可用......................................................................................................................................................6２.3．4.高性能在线扩展ﻩ72.3.5．高性能数据加载........................................................................................................................................82.３.6．OLＡP函数............................................................................................................................................92．4.ＨADOOP集群ﻩ９2.４.1.Hadoｏｐ企业版....................................................................................................................................92.4.2．HIＶE分布式内存分析引擎ﻩ0１２．4．３．HBASE分布式实时在线数据处理引擎...................................................................................１02.４.４.Ｓtrｅａm流处理引擎........................................................................................................................11２．5.服务器虚拟化ﻩ112.５.1.设计理念ﻩ122．5.2.系统结构ﻩ13２.5．3．服务器虚拟化系统组成ﻩ4１2.６.云管理平台ﻩ15２.6．1．浪潮云海OＳ架构图ﻩ1５２.6.2.浪潮云海OＳ实现的功能ﻩ152.7.爬虫软件ﻩ8１2.7.１.建设网络爬虫私有云..............................................................................................................................182．7．2．高效的分布式、协同化数据采集模式.....................................................................................２02.7.3．爬虫路线规划能力................................................................................................................................212．７.4.爬虫调度和负荷规划能力................................................................................................................2１2.7.５.极致的开放兼容平台ﻩ2２2.7.５．1.为什么需要开放的可集成的网页抓取软件...........................................................................222.7.5.２.集搜客网络爬虫的开放接口ﻩ223.方案优势..........................................................................................................................233.1．浪潮MＰＰ数据库优势ﻩ233．1.1.高性能ﻩ233.1.２.高性价比ﻩ3２3.1.3.高易用性..................................................................................................................................................２33.2.浪潮HADOOＰ优势ﻩ23３.3．浪潮云计算优势.................................................................................................................２３...
