安装HADOOP 集群服务器 1. 规划 功能 HOSTNAME IP 说明 Master HDM01 192.168.1.1 Namenode 兼datanode Slave HDS02 192.168.1.2 Datanode Slave HDS03 192.168.1.3 Datanode Client HDC04 192.168.1.4 HADOOP 客户端(HDFS/HIVE) 2. 环境 2.1. 系统环境 安装 centOS6.2 => 软件工作站(software Development Workstation) 3. Hadoop 安装 3.1. 安装和配置SSH 、RSYNC( Root用户) 安装 SSH和rsync 一般系统自带了; 3.2. 创建 Hadoop 运行用户( Root用户) 一般我们不会经常使用root用户运行hadoop,所以要创建一个平常运行和管理Hadoop的用户; ➢ 创建hadoop用户和用户组 useradd hadoop PS:master和slave节点机都要创建相同的用户和用户组,即在所有集群服务器上都要建hadoop用户和用户组。 3.3. 关闭防火墙( Root用户) 在启动前关闭集群中所有机器的防火墙,不然会出现 datanode 开后又自动关闭。所以对集群所有服务器关闭防火墙:chkconfig iptables off 查看防火墙状态:service iptables status 永久关闭防火墙:chkconfig iptables off 查看防火墙状态:chkconfig --list iptables 3.4. 配置机器名和网络( Root用户) 配置HOSTNAME vi /etc/sysconfig/network,修改:HOSTNAME=hmaster 其他节点依次改为slave1,slave2…….不过必须和上面一致 验证; 输入命令 hostname 配置网络IP cd /etc/sysconfig/network-scripts vi ifcfg-eth0(因为硬件不同,其中的“eth0”可能是其他名称) 配置IP和HOSTNAME映射关系 vi /etc/hosts [root@NOAS ~ ]# more /etc/hosts #127.0.0.1 localhost localhost.localdomain localhost4 #localhost4.localdomain4 ::1 localhost localhost.localdomain localhost6 localhost6.localdomain6 192.168.1.1 HDM01 192.168.1.2 HDS02 192.168.1.3 HDS03 192.168.1.4 HDC04 3.5. 配置非root 用户免验证登录SSH( hadoop 用户) 提示:Linux配置ssh是通过欺骗登录用户名的。所以上面创建用户的时候,我们都把3个节点的username都设置成hadoop,主要是用户名必须一致 在hadoop用户的home目录,即 cd /home/hadoop 下执行命令 用hadoop用户登录(第 一/二/三步分别在每一个节点上都要执行) 第一步:ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa 意思是读取 id_dsa...