电脑桌面
添加小米粒文库到电脑桌面
安装后可以在桌面快捷访问

hadoop2.0集群搭建详细讲解

hadoop2.0集群搭建详细讲解_第1页
1/9
hadoop2.0集群搭建详细讲解_第2页
2/9
hadoop2.0集群搭建详细讲解_第3页
3/9
hadoop2.2.0 集群搭建 PS:apache 提供的 hadoop-2.2.0 的安装包是在 32 位操作系统编译的, 因为 hadoop 依赖一些 C++的本地库,所以假如在 64 位的操作上安装 hadoop-2.2.0 就需要重新在 64 操作系统上重新编译1.准备工作:(参考伪分布式搭建) 1.1 修改 Linux 主机名 1.2 修改 IP 1.3 修改主机名和 IP 的映射关系 1.4 关闭防火墙 1.5ssh 免登陆 1.6.安装 JDK,配置环境变量等2.集群规划: PS: 在 hadoop2.0 常由两个 NameNode 组成,一个处于 active 状态, 另一个处于 standby 状态。Active NameNode 对外提供服务, 而 Standby NameNode 则不对外提供服务,仅同步active namenode 的状态,以便能够在它失败时快速进行切换。 hadoop2.0 官方提供了两种 HDFS HA 的解决方案,一种是 NFS, 另一种是 QJM。这里我们使用简单的 QJM。在该方案中, 主备 NameNode 之间通过一组 JournalNode 同步元数据信息, 一条数据只要成功写入多数 JournalNode 即认为写入成功。 通常配置奇数个 JournalNode 这里还配置了一个 zookeeper 集群,用于 ZKFC (DFSZKFailoverController)故障转移,当 Active NameNode 挂 掉了,会自动切换 Standby NameNode 为 standby 状态3.安装步骤: 3.1.安装配置 zooekeeper 集群 3.1.1 解压 tar -zxvf zookeeper-3.4.5.tar.gz -C /cloud/ 3.1.2 修改配置 cd /cloud/zookeeper-3.4.5/conf/ cp zoo_sample.cfg zoo.cfg vim zoo.cfg 修改:dataDir=/cloud/zookeeper-3.4.5/tmp 在最后添加: server.1=hadoop01:2888:3888 server.2=hadoop02:2888:3888 server.3=hadoop03:2888:3888 保存退出 然后创建一个 tmp 文件夹 mkdir /cloud/zookeeper-3.4.5/tmp 再创建一个空文件 touch /cloud/zookeeper-3.4.5/tmp/myid 最后向该文件写入 ID echo 1 > /cloud/zookeeper-3.4.5/tmp/myid 3.1.3 将配置好的 zookeeper 拷贝到其他节点(首先分别在 hadoop02、 hadoop03 根目录下创建一个 cloud 目录:mkdir /cloud) scp -r /cloud/zookeeper-3.4.5/ hadoop02:/cloud/ scp -r /cloud/zookeeper-3.4.5/ hadoop03:/cloud/ 注意:修改 hadoop02、hadoop03 对应 /cloud/zookeeper-3.4.5/tmp/myid 容 hadoop02: echo 2 > /cloud/zookeeper-3.4.5/tmp/myid hadoop03: echo 3 > /c...

1、当您付费下载文档后,您只拥有了使用权限,并不意味着购买了版权,文档只能用于自身使用,不得用于其他商业用途(如 [转卖]进行直接盈利或[编辑后售卖]进行间接盈利)。
2、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。
3、如文档内容存在违规,或者侵犯商业秘密、侵犯著作权等,请点击“违规举报”。

碎片内容

hadoop2.0集群搭建详细讲解

确认删除?
VIP
微信客服
  • 扫码咨询
会员Q群
  • 会员专属群点击这里加入QQ群
客服邮箱
回到顶部