hadoop学习笔记(一、hadoop集群环境搭建)

Hadoop 集群环境搭建 1、准备资料 虚拟机、Redhat6.5、hadoop-1.0.3、jdk1.6 2、基础环境设置 2 .1 配置机器时间同步 #配置时间自动同步 crontab -e #手动同步时间 /usr/sbin/ntpdate cn.pool.ntp.org 1、 安装 JDK 安装 cd /home/wzq/dev ./jdk-*****.bin 设置环境变量 Vi /etc/profile/java.sh export JAVA_HOME=/home/wzq/dev/jdk1.6 export PATH=$PATH:$JAVA_HOME/bin 2 .2 配置机器网络环境 #配置主机名 (hostname) vi /etc/sysconfig/network #修第一台 hostname 为 master hostname master 0 1 * * * root /usr/sbin/ntpdate cn.pool.ntp.org NETWORKING=yes #启动网络 NETWORKING_IPV6=no HOSTNAME=master #主机名 #检测 hostname #使用 setu p 命令配置系统环境 setu p #检查ip 配置 cat /etc/sysconfig/network-scripts/ifcfg-eth0 #重新启动网络服务 /sbin/service network restart #检查网络ip 配置 /sbin/ifconfig 2.3 关闭防火墙 # Advanced Micro Devices [AMD] 79c970 [PCnet32 LANCE] DEVICE=eth0 BOOTPROTO=none HWADDR=00:0c:29:fc:3a:09 ONBOOT=yes NETMASK=255.255.255.0 IPADDR=192.168.1.100 TYPE=Ethernet 2.4 配置集群hosts 列表 vi /etc/hosts #添加一下内容到 vi 中 2.5 创建用户账号和 Hadoop 部署目录和数据目录 #创建 hadoop 用户 /usr/sbin/groupadd hadoop 192.168.1.100 master 192.168.1.101 node1 #全分布式用到 192.168.1.101 node2 #全分布式用到 #分配 hadoop 到 hadoop 组中 /usr/sbin/useradd hadoop -g hadoop #修改hadoop 用户密码 Passwd hadoop #创建 hadoop 代码目录结构 mkdir -p /opt/modules/hadoop/ #修改 目录结构权限拥有者为为hadoop chown -R hadoop:hadoop /opt/modules/hadoop/ 2 .6 生成登陆密钥 #切换到Hadoop 用户下 su hadoop cd /home/hadoop/ #在master、node1、node2 三台机器上都执行下面命令， 生成公钥和私钥 ssh-keygen -q -t rsa -N "" -f /home/hadoop/.ssh/id_rsa cd /home/hadoop/.ssh #把 node1、node2 上的公钥拷贝到master 上 scp /home/hadoop/.ssh/ id_rsa.pub hadoop@master:/home/hadoop/.ssh/node1_pubkey scp /home/hadoop/.ssh/ id_rsa.pub hadoop@master:/home/hadoop/.ssh/n...