ClouderaManager大数据平台部署指南VIP免费

部署指南ClouderaManagerCDH官方共给出了3中安装方式。第一种方法必须要求所有机器都能连网，由于各种网络超时错误，基本没法用。第二种方法使用CM的在线yum源，在线下载很多包，同样是超时严重。第三种方法是全离线方式，实际情况是也只能用这个。1、ClouderaManager的部署条件CDH不支持在容器中部署。支持OracleJDK7，目前可使用的最新版本为1.7u80，C5.3.x及以上版本也支持使用oracleJDK8，同一个CDH集群中的所有节点使用的JDK版本必须一致。使用Python2.4及以上，不支持Python3仅支持IPv4，且IPv6必须要disabled基于tar压缩包的离线安装方式，会在6.0.0中停止支持该方式。支持selinux，但如果不熟悉使用方法，建议关闭。管理端口为7180，此外还有很多基础应用使用的端口，可以运行iptables，需要确认有恰当的授权控制，例如至少要对同网段的访问放开全部端口。2、ClouderaManager部署的几个阶段和可选择的方式注：因为ClouderaManager的官方yum源位于国外，受网速影响而无法正常使用。所以上述部署方式中，一般是使用PATHC，或者在预先下载好相关RPM包的条件下参照PATHB方式。3、主机节点信息和基础配置（1）主机信息本次部署使用以下主机，前两个作为NameNode使用。后四个主机，分别额外挂载一块1TB的磁盘到本地的/dfs/dn目录下。注1：用于大数据平台的数据磁盘不要配置RAID，直接祼盘即可。如果有RAID控制器，则直接对每块盘设置一个单独的RAID0，仍然当作单盘使用。注2：在有第二块数据盘的情况下，继续挂载到/dfs/dn2，更多的数据盘则按命名规则和挂盘规则扩展即可。注3：对于生产环境而言，NameNode所在的节点一般不要同时做数据节点使用。而且NameNode所在主机的磁盘需要配置适当的RAID保护级别，以提高可靠性。注4：对于DataNode所在的主机节点，建议系统盘和数据盘完全隔离开，然后系统盘使用两磁盘配置为RAID1以提高可靠性。虽然数据节点是冗余的，挂一个也不影响CDH平台运行，但修起来还是很麻烦啊。172.17.10.70cluster-70172.17.10.71cluster-71172.17.10.72cluster-72172.17.10.73cluster-73172.17.10.74cluster-74172.17.10.75cluster-75操作系统全部使用CentOS6.9Minimal安装。将全部主机的主机名设置好，并将以上映射关系写到每个主机的/etc/hosts文件中。（2）免密登录在cluster-70节点上制作ssh密钥：ssh-keygen将该密钥分发至其它各节点，以实现免密钥登录，如：ssh-copy-idcluster-71（3）selinux和iptables所有节点配置为关闭selinux。所有节点的iptables设置为对同网段地址放开全部端口的访问权限。（4）系统性能参数调整中即可。cat<>/etc/sysctl.confvm.swappiness=0net.ipv6.conf.all.disable_ipv6=1net.ipv6.conf.default.disable_ipv6=1net.ipv4.ip_local_port_range=102465000EOFsysctl-pechonever>/sys/kernel/mm/transparent_hugepage/defragechonever>/sys/kernel/mm/transparent_hugepage/enabledcat<>/etc/rc.localechonever>/sys/kernel/mm/transparent_hugepage/defragechonever>/sys/kernel/mm/transparent_hugepage/enabledEOF4、安装JDK下载并分发OracleJDK安装包至所有节点，执行安装和配置命令。rpm-ivhjdk-7u80-linux-x64.rpm直接刷下面脚本完成配置：cat<>/etc/profileJAVA_HOME=/usr/java/jdk1.7.0_80PATH=\$JAVA_HOME/bin:\$PATH:.CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jarexportJAVA_HOMEexportPATHexportCLASSPATHEOFsource/etc/profile以上JDK配置，需要在每个节点上都处理。5、安装和配置数据库主要有以下业务会使用到数据库服务：ClouderaManager，存放各种服务、配置数据，空间大约100MB，很重要，应经常备份；OozieServer-ContainsOozieworkflow,coordinator,andbundledata.Cangrowverylarge.SqoopServer-Containsentitiessuchastheconnector,driver,linksandjobs.Relativelysmall.ActivityMonitor-Containsinformationaboutpastactivities.Inlargeclusters,thisdatabasecangrowlarge.ConfiguringanActivityMonitordatabaseisonlynecessaryifaMapReduceserviceis...