Hadoop2.4、Hbase0.98、Hive集群安装配置手册

Hadoop、Zookeeper、Hbase、Hive 集群安装配置手册 运行环境  机器配置 虚机 CPU E5504*2 (4 核心)、内存 4G、硬盘 25G  进程说明 QuorumPeerMain ZooKeeper ensemble member DFSZKFailoverController Hadoop HA 进程，维持 NameNode 高可用 JournalNode Hadoop HA 进程，JournalNode 存储 EditLog,每次写数据操作有大多数(>=N+1)返回成功时即认为该次写成功,保证数据高可用 NameNode Hadoop HDFS 进程，名字节点 DataNode HadoopHDFS 进程， serves blocks NodeManager Hadoop YARN 进程，负责 Container 状态的维护，并向 RM 保持心跳。 ResourceManager Hadoop YARN 进程，资源管理 JobTracker Hadoop MR1 进程，管理哪些程序应该跑在哪些机器上，需要管理所有 job 失败、重启等操作。 TaskTracker Hadoop MR1 进程，manages the local Childs RunJar Hive 进程 HMaster HBase 主节点 HRegionServer HBase RegionServer, serves regions JobHistoryServer 可 以 通 过 该 服 务 查 看 已 经 运 行 完 的mapreduce 作业记录 主机/hostname 系统版本 应用 服务进程 10.12.34.14/archive.cloudera.com Centos 5.8 mysql mysqld 10.12.34.15/h15 Centos 5.8 Hadoop Zookeeper Hbase Hive QuorumPeerMain DFSZKFailoverController NameNode NodeManager RunJar HMaster JournalNode JobHistoryServer ResourceManager DataNode HRegionServer 10.12.34.16/h16 Centos 5.8 Hadoop Zookeeper Hbase Hive DFSZKFailoverController QuorumPeerMain HMaster JournalNode NameNode ResourceManager DataNode HRegionServer NodeManager 10.12.34.17/h17 Centos 5.8 Hadoop Zookeeper Hbase Hive NodeManager DataNode QuorumPeerMain JournalNode HRegionServer 环境准备 1. 关闭防火墙 15、16、17 主机： # service iptables stop 2. 配置主机名 a) 15 、16、17 主机： # vi /etc/hosts 添加如下内容： 10.12.34.15 h15 10.12.34.16 h16 10.12.34.17 h17 b) 立即生效 15 主机： # /bin/hostname h15 16 主机： # /bin/hostname h16 17 主机： # /bin/hostname h17 3. 创建用户 15、16、17 主机： # useraddhduser 密码为 hduser # chown ...