Hadoop 集群配置(最全面)您的评价 : 收藏该经验通常,集群里的一台机器被指定为NameNode,另一台不同的机器被指定为 JobTracker 。这些机器是 masters 。余下的机器即作为DataNode也作为 TaskTracker 。这些机器是官方地址:( http://hadoop.apache.org/common/docs/r0.19.2/cn/cluster_setup.html)1 先决条件1. 确保在你集群中的每个节点上都安装了所有必需 软件:sun-JDK ,ssh,Hadoop 2. JavaTM1.5.x ,必须安装,建议选择Sun 公司发行的 Java 版本。3. ssh必须安装并且保证sshd 一直运行,以便用Hadoop 脚本管理远端Hadoop守护进程。2 实验环境搭建 2.1 准备工作操作系统: Ubuntu 部署: Vmvare 在 vmvare 安装好一台 Ubuntu 虚拟机后,可以导出或者克隆出另外两台虚拟机。准备机器:一台 master ,若干台 slave ,配置每台机器的 /etc/hosts保证各台机器之间通过机器名可以互访,例如: 10.64.56.76 node1(master ) 10.64.56.77 node2 (slave1 ) 10.64.56.78 node3 (slave2 )主机信息 : 机器名IP 地址作用Node1 10.64.56.76 NameNode、JobTracker Node2 10.64.56.77 DataNode、TaskTracker Node3 10.64.56.78 DataNode、TaskTracker 为保证环境一致先安装好JDK和 ssh:2.2 安装 JDK #安装 JDK $ sudo apt-get install sun-java6-jdk1.2.3 这个安装, java 执行文件自动添加到 /usr/bin/目录。验证 shell命令 :java -version 看是否与你的版本号一致。2.3 下载、创建用户在所有的机器上都建立相同的目录,也可以就建立相同的用户, 以该用户的 home路径来做 hadoop 的安装路径。例如我在所有的机器上都建立了/home/hadoop/install $ useradd hadoop $ cd /home/hadoop 2.4 安装 ssh 和配置1) 安装 :sudo apt-get install ssh 2)配置 :在 Hadoop启动以后, Namenode是通过 SSH(Secure Shell )来启动和停止各个datanode 上的各种守护进程的,这就须要在节点之间执行指令的时候是不须要输入密码的形式,故我们须要配置SSH运用无密码公钥认证的形式。以本文中的三台机器为例,现在node1 是主节点,他须要连接node2 和 node3。须要确定每台机器上都安装了ssh,并且 datanode 机器上 sshd 服务已经启动。( 说明: hadoop@hadoop~]$ssh-keygen -t rsa 这个命令将为 hadoop 上的用户 hadoop 生成其密...