hadoop2.0集群搭建详细讲解

hadoop2.2.0 集群搭建 PS：apache 提供的 hadoop-2.2.0 的安装包是在 32 位操作系统编译的， 因为 hadoop 依赖一些 C++的本地库，所以假如在 64 位的操作上安装 hadoop-2.2.0 就需要重新在 64 操作系统上重新编译1.准备工作:(参考伪分布式搭建) 1.1 修改 Linux 主机名 1.2 修改 IP 1.3 修改主机名和 IP 的映射关系 1.4 关闭防火墙 1.5ssh 免登陆 1.6.安装 JDK，配置环境变量等2.集群规划： PS： 在 hadoop2.0 常由两个 NameNode 组成，一个处于 active 状态， 另一个处于 standby 状态。Active NameNode 对外提供服务， 而 Standby NameNode 则不对外提供服务，仅同步active namenode 的状态，以便能够在它失败时快速进行切换。 hadoop2.0 官方提供了两种 HDFS HA 的解决方案，一种是 NFS， 另一种是 QJM。这里我们使用简单的 QJM。在该方案中， 主备 NameNode 之间通过一组 JournalNode 同步元数据信息， 一条数据只要成功写入多数 JournalNode 即认为写入成功。 通常配置奇数个 JournalNode 这里还配置了一个 zookeeper 集群，用于 ZKFC （DFSZKFailoverController）故障转移，当 Active NameNode 挂 掉了，会自动切换 Standby NameNode 为 standby 状态3.安装步骤： 3.1.安装配置 zooekeeper 集群 3.1.1 解压 tar -zxvf zookeeper-3.4.5.tar.gz -C /cloud/ 3.1.2 修改配置 cd /cloud/zookeeper-3.4.5/conf/ cp zoo_sample.cfg zoo.cfg vim zoo.cfg 修改：dataDir=/cloud/zookeeper-3.4.5/tmp 在最后添加： server.1=hadoop01:2888:3888 server.2=hadoop02:2888:3888 server.3=hadoop03:2888:3888 保存退出 然后创建一个 tmp 文件夹 mkdir /cloud/zookeeper-3.4.5/tmp 再创建一个空文件 touch /cloud/zookeeper-3.4.5/tmp/myid 最后向该文件写入 ID echo 1 > /cloud/zookeeper-3.4.5/tmp/myid 3.1.3 将配置好的 zookeeper 拷贝到其他节点(首先分别在 hadoop02、 hadoop03 根目录下创建一个 cloud 目录：mkdir /cloud) scp -r /cloud/zookeeper-3.4.5/ hadoop02:/cloud/ scp -r /cloud/zookeeper-3.4.5/ hadoop03:/cloud/ 注意：修改 hadoop02、hadoop03 对应 /cloud/zookeeper-3.4.5/tmp/myid 容 hadoop02： echo 2 > /cloud/zookeeper-3.4.5/tmp/myid hadoop03： echo 3 > /c...