hadoop高可用集群搭建VIP免费

Hadoop高可用集群搭建一、Hadoop高可用原理1.原理Hadoop高可用（HadoopHighAvailability）,是保证业务连续性的有效解决方案，通常通过设置备用节点的方式实现。一般将执行业务的名称节点称为活动节点（Active）,另一个名称节点作为备用的节点（Standby）,当活动节点出现问题导致业务不能正常的执行时，备用节点此时就会监测到，并立即切换为活动状态，从而保证业务的正常运行而不会被中断。2.NameNode高可用NameNode是HDFS的核心，如果NameNode失效了，那么整个HDFS也就不能提供服务了，所以Hadoop提供了高可用的方案，即HadoopHA；HDFS提供了两种高可用的方案：一种是基于QJM（QuorumJournalManager），另一种是基于NFS的。这里使用QJM来解决NameNode的单点故障问题，解决的方案就是在HDFS集群中建立多个NameNode节点。为了保证NameNode元数据的一致性和编辑日志的安全性，采用Zookeeper来存储编辑日志文件。多个NameNode节点中只有一个是处于Active状态的，其余都是Standby状态，同一时间只能有一个处于Active状态的NameNode节点。多个NameNode上存储的元数据是实时同步的，当Active的NameNode出现故障时，通过Zookeeper实时切换到Standby的NameNode上，并将状态改为Active。HDFSHA架构中有两台NameNode节点，一台是处于活动状态（Active）为客户端提供服务，另外一台处于热备份状态（Standby）。DataNode会将心跳信息和Block汇报信息同时发给两台NameNode，DataNode只接受ActiveNameNode发来的文件读写操作指令。为了使备用节点保持其状态与Active节点同步，两个节点都与一组称为“JournalNodes”（JN）的单独守护进程通信。当Active节点执行任何名称空间修改时，它会将修改记录持久地记录到大多数这些JN中。待机节点能够从JN读取编辑，并且不断观察它们对编辑日志的更改。当备用节点看到编辑时，它会将它们应用到自己的命名空间。如果发生故障转移，Standby将确保在将自身升级为Active状态之前已从JournalNodes读取所有编辑内容。这可确保在发生故障转移之前完全同步命名空间状态。3.ResourceManager高可用ResourceManagerHA通过主动/备用架构实现-在任何时间点，其中一个RM处于活动状态，并且一个或多个RM处于待机模式，等待活动RM出现故障或者宕机时机。转换为活动的触发器来自管理员(通过CLI)或启用自动故障转移时的集成故障转移控制器。RM可以选择嵌入基于Zookeeper的ActiveStandbyElector来决定哪个RM应该是Active。当Active关闭或无响应时，另一个RM自动被选为Active，然后接管。请注意，不需要像HDFS那样运行单独的ZKFC守护程序，因为嵌入在RM中的ActiveStandbyElector充当故障检测器和领导者选择器而不是单独的ZKFC守护程序。当存在多个RM时，客户端和节点使用的配置(yarn-site.xml)应该列出所有RM。客户端，应用程序管理器ApplicationMaster(AM)和节点管理器NodeManager(NM)尝试以循环方式连接到RM，直到它们到达活动RM。如果活动停止，他们将恢复循环轮询，直到他们连接到新的RM。二、集群规划机器名IP地址软件列表运行进程hadoopOl192.168.128.128JDKZookeeperHadoopNamenodeResourcemanagerQuorumpeermain(Zookeeper)DFSZKFailoverController(zkfc)hadoop02192.168.128.129JDKZookeeperHadoopNamenodeResourcemanagerQuorumpeermain(Zookeeper)DFSZKFailoverController(zkfc)hadoop03192.168.128.130JDKZookeeperHadoopDatanodeNodemanagerJournalnodeQuorumpeermain(Zookeeper)Jobhistroyhadoop04192.168.128.131JDKHadoopDatanodenodemanagerjournalnodehadoop05192.168.128.132JDKHadoopDatanodenodemanagerjournalnode其中hadoop01、hadoop02作为名称节点同时使用Zookeeper的zkfc对名称节点进行控制，并且作为YARN框架的主节点，hadoop03、hadoop04和hadoop05作为数据节点，并且三台机器都是YARN的子节点，使用了HadoopHA中的journalnode构成了一个共享存储器，当向名称节点传输元数据时，会拷贝三份到这个共享存储器中。三、准备工作1.创建5台linux服务器2.安装文件上传下载工具安装上传下载工具：yum-yinstallIrzsz此处已提前安装过了）从本地文件上传到服务...