最新Hadoop集群部署最全面VIP免费

Hadoop 集群配置（最全面）您的评价 : 收藏该经验通常，集群里的一台机器被指定为NameNode，另一台不同的机器被指定为 JobTracker 。这些机器是 masters 。余下的机器即作为DataNode也作为 TaskTracker 。这些机器是官方地址：( http://hadoop.apache.org/common/docs/r0.19.2/cn/cluster_setup.html)1 先决条件1. 确保在你集群中的每个节点上都安装了所有必需 软件：sun-JDK ，ssh，Hadoop 2. JavaTM1.5.x ，必须安装，建议选择Sun 公司发行的 Java 版本。3. ssh必须安装并且保证sshd 一直运行，以便用Hadoop 脚本管理远端Hadoop守护进程。2 实验环境搭建 2.1 准备工作操作系统： Ubuntu 部署： Vmvare 在 vmvare 安装好一台 Ubuntu 虚拟机后，可以导出或者克隆出另外两台虚拟机。准备机器：一台 master ，若干台 slave ，配置每台机器的 /etc/hosts保证各台机器之间通过机器名可以互访，例如： 10.64.56.76 node1（master ） 10.64.56.77 node2 （slave1 ） 10.64.56.78 node3 （slave2 ）主机信息 : 机器名IP 地址作用Node1 10.64.56.76 NameNode、JobTracker Node2 10.64.56.77 DataNode、TaskTracker Node3 10.64.56.78 DataNode、TaskTracker 为保证环境一致先安装好JDK和 ssh：2.2 安装 JDK #安装 JDK $ sudo apt-get install sun-java6-jdk1.2.3 这个安装， java 执行文件自动添加到 /usr/bin/目录。验证 shell命令 ：java -version 看是否与你的版本号一致。2.3 下载、创建用户在所有的机器上都建立相同的目录，也可以就建立相同的用户， 以该用户的 home路径来做 hadoop 的安装路径。例如我在所有的机器上都建立了/home/hadoop/install $ useradd hadoop $ cd /home/hadoop 2.4 安装 ssh 和配置1） 安装 ：sudo apt-get install ssh 2）配置 ：在 Hadoop启动以后， Namenode是通过 SSH（Secure Shell ）来启动和停止各个datanode 上的各种守护进程的，这就须要在节点之间执行指令的时候是不须要输入密码的形式，故我们须要配置SSH运用无密码公钥认证的形式。以本文中的三台机器为例，现在node1 是主节点，他须要连接node2 和 node3。须要确定每台机器上都安装了ssh，并且 datanode 机器上 sshd 服务已经启动。( 说明： hadoop@hadoop~]$ssh-keygen -t rsa 这个命令将为 hadoop 上的用户 hadoop 生成其密...