大数据环境搭建VIP专享VIP免费

本文记录zookeeper+hadoop+hbase+kafka+storm集群的搭建过程。准备工作1.硬件环境3台物理主机192.168.0.191—dcOl192.168.0.192—dc02192.168.0.193—dc03系统全部为Ubuntu16.042.软件环境1)jdk1.8.0_1212)zookeeper-3.4.103)hadoop-2.6.54)hbase-1.2.65)kafka_2.11-0.10206)apache-storm-1.1.0jdk的安装在此不做赘述，有疑问可自行百度。3.设置主机名三台机器都需设置，后面所有操作都通过主机名连接。sudogedit/etc/sysconfig/networkip为192.168.0.191的机器修改为如下内容:其他两台机器分别设置为dc02和dc03。4.修改host文件sudogedit/etc/hosts在末尾追加如下内容:三台机器做相同操作。5.设置ssh免密码登录以dc01为例，执行以下命令1.sssh-keygen-trsa2.#连续三次回车，即在本地生成了公钥和私钥，不设置密码3.ssh-copy-iddc014.#按提示输入dc01的密码5.ssh-copy-iddc026.#按提示输入dc02的密码7.ssh-copy-iddc038.#按提示输入dc03的密码dc02和dc03重复dcOl的操作，设置完成后任意两台机器之间不需要密码可直接登录，例如从dc01登录到dc03，只需在dc01输入”sshdc03”即可。开始安装所有软件安装目录为/usr/local/安装zookeeper下载zookeeper安装文件zookeeper-3410.tar.gz至U/usr/local/下执行以下命令：mvzookeeper-3.4.10zookeepercdzookeeper/#zookeeper酉己置文件名为zoo.cfgcpconf/zoo_sample.cfgconf/zoo.cfg编辑zoo.cfgvimconf/zoo.cfg修改后文件内容如下:#ThenumberofmillisecondsofeachticktickTime=2000#Thenumberofticksthattheinitial#synchronizationphasecantakeinitLimit=10#Thenumberofticksthatcanpassbetween#sendingarequestandgettinganacknowledgementsyncLimit=5#thedirectorywherethesnapshotisstored.#donotuse/tmpforstorage,/tmphereisjust#examplesakes.dataDir=/usr/local/zookeeper/datadataLogDir=/usr/local/zookeeper/log#theportatwhichtheclientswillconnectclientPort=2181#themaximumnumberofclientconnections.#increasethisifyouneedtohandlemoreclients#maxClientCnxns=60#Besuretoreadthemaintenancesectionofthe#administratorguidebeforeturningonautopurge.#http://zookeeper.apache.org/doc/current/zookeeperAdmin.html#sc_maintenance#ThenumberofsnapshotstoretainindataDir#autopurge.snapRetainCount=3#Purgetaskintervalinhours#Setto"0"todisableautopurgefeature#autopurge.purgeInterval=1server.1=dc01:2888:3888server.2=dc02:2888:3888server.3=dc03:2888:3888在zookeeper下新建data目录mkdirdata新增myid文件，该文件内容与zoo.cfg最后三行内容有关，server.x=host:portl:port2,myid中写入的就是x对应的值，不同主机文件内容不同。echo'1'>data/myid使用scp命令将dc01上已配置好的zookeeper文件复制到其他两台机器scp-r/usr/local/zookeeperroot@dc02:/usr/local/zookeeperscp-r/usr/local/zookeeperroot@dc03:/usr/local/zookeeper操作完成后将dc02上的myid文件内容改为2,dc03中的myid内容改为3。启动zookeeper$zookeeper_home/bin/zkServer.shstart三个节点做同样操作，启动完成后可使用”zkServer.shstatus”查看运行状态。安装hadoophbase基于hdfs存储，所以安装hbase前必须先安装hadoop，不同版本hbase对应的hadoop版本不同，安装前请确认兼容性。下面开始安装：在/usr/local/下新建hadoop目录，hadoop下再创建hdfs目录。cd/usr/local/mkdir-phadoop/hdfs下载hadoop安装文件hadoop-2.6.5.tar.gz,放入hadoop目录下tar-zxvfhadoop-2.6.5.tar.gz修改配置文件cdhadoop-2.6.5/etc/hadoop/需要修改的配置文件有四个，hadoop-env.sh、core-site.xml、hdfs-site.xml、slaves,因为暂时不使用map-reduce所以不用配置yarn相关文件。1、修改hadoop-env.shsudogedithadoop-env.sh修改JAVA_HOME为jdk安装路径（如果没有则添加一行）exportJAVA_HOME=/usr/local/java/jdk1.8.0_1212、修改core-site.xmlsudogeditcore-site.xml修改后内容如下:〈configuration〉〈property〉