电脑桌面
添加小米粒文库到电脑桌面
安装后可以在桌面快捷访问

Hadoop云计算平台架构搭建详解

Hadoop云计算平台架构搭建详解_第1页
1/24
Hadoop云计算平台架构搭建详解_第2页
2/24
Hadoop云计算平台架构搭建详解_第3页
3/24
Hadoop 云计算平台及相关组件搭建安装过程详细教程(Hbase+Pig+Hive+Zookeeper+Ganglia+Chukwa+Eclipse)一.安装环境简介根据官网,Hadoop 已在 linux 主机组成的集群系统上得到验证,而 windows 平台是作为开发平台支持的,由于分布式操作尚未在 windows 平台上充分测试,所以还不作为一个生产平台。Windows 下还需要安装 Cygwin,Cygwin 是在 windows 平台上运行的UNIX 模拟环境,提供上述软件之外的 shell 支持。实际条件下在 windows 系统下进行 Hadoop 伪分布式安装时,出现了许多未知问题。在 linux 系统下安装,以伪分布式进行测试,然后再进行完全分布式的实验环境部署。Hadoop 完全分布模式的网络拓补图如图六所示:(1)网络拓补图如六所示:图六完全分布式网络拓补图(2)硬件要求:搭建完全分布式环境需要若干计算机集群,Master 和 Slaves处理器、内存、硬盘等参数要求根据情况而定。(3)软件要求操作系统 64 位 Ubuntu12.04.4JDK 版本:jdk-7u51-linux-x64.tar.gzNO.ProjectVersionContent1HardwareenvironmentOperationsystemJDKHadoopZookeeperHBasePigHiveGangliaEclipseHadoop foreclipse pluginChukwaCPU: Intel 2.00 GHzDisk : 150GBMemory: 2.00GBUbuntu-12.04jdk-7u51-linux-x64.tar.gzhadoop-1.2.1.tar.gzzookeeper-3.4.6.tar.gzHbase-0.94.20.tar.gzpig-0.12.0.tat.gzhive-0.12.0.tar.gzEclipse standard 4.3.2Hadoop-eclipse-plugin-1.2.1.jar(可选)Master/NameNode IP:192.168.100.90Slave1/DataNode IP:192.168.100.105Slave2/DataNode IP:192.168.100.10664-bit/usr/bin/jvm/jdk1.7.0_51/home/majiangbo/hadoop-1.2.1/home/majiangbo/hadoop-1.2.1/zookeeper-3.4.6/home/majiangbo/hadoop-1.2.1/hbase-0.94.20/home/majiangbo/hadoop-1.2.1/pig-0.12.0/home/majiangbo/hadoop-1.2.1/hive-0.12.0/home/majiangbo/hadoop-1.2.1//home/majiangbo/eclipse/home/majiangbo/eclipse/plugins23456789101112并且所有机器均需配置 SSH 免密码登录。二.Hadoop 集群安装部署目前,这里只搭建了一个由三台机器组成的小集群,在一个hadoop 集群中有以下角色:Master 和 Slave、JobTracker和 TaskTracker、NameNode 和 DataNode。下面为这三台机器分配 IP 地址以及相应的角色:192.168.100.90——master,namenode,jobtracker——master(主机名)192.168.100.105——slave...

1、当您付费下载文档后,您只拥有了使用权限,并不意味着购买了版权,文档只能用于自身使用,不得用于其他商业用途(如 [转卖]进行直接盈利或[编辑后售卖]进行间接盈利)。
2、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。
3、如文档内容存在违规,或者侵犯商业秘密、侵犯著作权等,请点击“违规举报”。

碎片内容

Hadoop云计算平台架构搭建详解

确认删除?
VIP
微信客服
  • 扫码咨询
会员Q群
  • 会员专属群点击这里加入QQ群
客服邮箱
回到顶部