Hadoop云计算平台搭建最详细过程

Hadoop 云计算平台及相关组件搭建安装过程详细教程 ——Hbase+Pig+Hive+Zookeeper+Ganglia+Chukw a+Eclipse 等 一．安装环境简介 根据官网，Hadoop 已在 linux 主机组成的集群系统上得到验证，而 windows 平台是作为开发平台支持的，由于分布式操作尚未在 windows 平台上充分测试，所以还不作为一个生产平台。Windows 下还需要安装Cygwin，Cygwin 是在 windows 平台上运行的UNIX 模拟环境，提供上述软件之外的 shell 支持。 实际条件下在 windows 系统下进行 Hadoop 伪分布式安装时，出现了许多未知问题。在 linux 系统下安装，以伪分布式进行测试，然后再进行完全分布式的实验环境部署。Hadoop 完全分布模式的网络拓补图如图六所示： （1） 网络拓补图如六所示： 图六 完全分布式网络拓补图 （2） 硬件要求：搭建完全分布式环境需要若干计算机集群，Master 和 Slaves 处理器、内存、硬盘等参数要求根据情况而定。 （3） 软件要求 操作系统 64 位 Ubuntu12.04.4 JDK 版本:jdk-7u51-linux-x64.tar.gz NO. Project Version Content 1 Hardware environment CPU: Intel 2.00 GHz Disk : 150GB Memory: 2.00GB Master/NameNode IP:192.168.100.90 Slave1/DataNode IP:192.168.100.105 Slave2/DataNode IP:192.168.100.106 2 Operation system Ubuntu-12.04 64-bit 3 JDK jdk-7u51-linux-x64.tar.gz /usr/bin/jvm/jdk1.7.0_51 4 Hadoop hadoop-1.2.1.tar.gz /home/majiangbo/hadoop-1.2.1 5 Zookeeper zookeeper-3.4.6.tar.gz /home/majiangbo/hadoop-1.2.1/zookeeper-3.4.6 6 HBase Hbase-0.94.20.tar.gz /home/majiangbo/hadoop-1.2.1/hbase-0.94.20 7 Pig pig-0.12.0.tat.gz /home/majiangbo/hadoop-1.2.1/pig-0.12.0 8 Hive hive-0.12.0.tar.gz /home/majiangbo/hadoop-1.2.1/hive-0.12.0 9 Ganglia /home/majiangbo/hadoop-1.2.1/ 10 Eclipse Eclipse standard 4.3.2 /home/majiangbo/eclipse 11 Hadoop for eclipse plugin Hadoop-eclipse-plugin-1.2.1.jar /home/majiangbo/eclipse/plugins 12 Chukwa （可选） 并且所有机器均需配置SSH 免密码登录。 二． Hadoop 集群安装部署 目前，这里只搭建了一个由三台机器组成的小集群，在一个hadoop 集群中有以下角色：Master 和Slave、JobTracker 和TaskTracker、NameNo...