电脑桌面
添加小米粒文库到电脑桌面
安装后可以在桌面快捷访问

非关系型大数据库大作业VIP免费

非关系型大数据库大作业_第1页
1/30
非关系型大数据库大作业_第2页
2/30
非关系型大数据库大作业_第3页
3/30
实验三HBase环境搭建、sehll操作及JavaAPI编程实验步骤:1.搭建Zookeeper和HBase1.ntp时间同步服务器搭建与使用安装ntp服务端(master)#apt-getinstallntp启动ntp服务#/etc/init.d/ntpstart修改配置文件#vim/etc/ntp.conf修改容如下:重启ntp服务#/etc/init.d/ntprestart1.2安装ntp客户端(slaver1、slaver2)使用ntpdate命令,如果不存在这个命令,则先安装apt-getinstallntp同步服务器时间#/usr/sbin/ntpdate10.49.85.172设置定时同步#vim/etc/crontab1.3ulimit和nproc设置(集群均配置)HBase是数据库,会在同一时间使用很多的文件句柄。大多数Ubuntu系统使用的默认值1024是不能满足的,所以你需要修改你的最大文件句柄限制。可以设置到10k.你还需要修改hbase用户的nproc,如果过低会造成OutOfMemoryError异常。需要澄清的,这两个设置是针对操作系统的,不是Hbase本身的。有一个常见的错误是Hbase运行的用户,和设置最大值的用户不是一个用户。在Hbase启动的时候,第一行日志会现在ulimit信息,所以你最好检查一下。1)修改limits.conf文件#vim/etc/security/limits.conf添加如下容:2)修改common-session文件#vim/etc/pam.d/common-session添加如下容:重启系统1.4Zookeeper集群环境安装过程详解1)解压zookeepertarzxvfzookeeper-3.4.5.tar.gz2)修改zoo.cfg配置文件进入到zookeeper的conf目录下将zoo_sample.cfg文件拷贝一份,命名为为zoo.cfgvimzoo.cfg修改容如下:配置文件中"server.id=host:port:port"中的第一个port是从机器(follower)连接到主机器(leader)的端口号,第二个port是进行leadership选举的端口号。接下来在dataDir所指定的目录下创建一个文件名为myid的文件,文件中的容只有一行,为本主机对应的id值,也就是上图中server.id中的id。例如:在服务器1中的myid的容应该写入1,在服务器2中的myid的容应该写入2,在服务器3中的myid的容应该写入3。3)同时创建log目录#mkdirlog4)修改环境变量#vim/etc/profile#source/etc/profile#scp-r/root/zookeeper-3.4.5/cc-slaver1:/root/#scp-r/root/zookeeper-3.4..5/cc-slaver2:/root/在对应slaver节点同时修改profile文件,添加exportZOOKEEPER_HOME=/root/zookeeper-3.4.5exportCLASSPATH=.:${ZOOKEEPER_HOME}/lib:$CLASSPATHexportPATH=${ZOOKEEPER_HOME}/bin:${ZOOKEEPER_HOME}/conf:$PATH同时:在slaver1节点中#pwd/soft/zookeeper#mkdirdata#echo"2">myid在slaver2节点中#pwd/soft/zookeeper#mkdirdata#echo"3">myid1.5启动zookeeper集群在ZooKeeper集群的每个结点上,执行启动ZooKeeper服务的脚本:#zkServer.shstart如下图所示:其中,QuorumPeerMain是zookeeper进程,启动正常。出现错误可以通过#tail-f/soft/zookeeper/zookeeper.out如上依次启动了所有机器上的Zookeeper之后可以通过ZooKeeper的脚本来查看启动状态,包括集群中各个结点的角色(或是Leader,或是Follower),如下所示,是在ZooKeeper集群中的每个结点上查询的结果:通过上面状态查询结果可见,cc-slaver1是集群的Leader,其余的两个结点是Follower。另外,可以通过客户端脚本,连接到ZooKeeper集群上。对于客户端来说,ZooKeeper是一个整体(ensemble),连接到ZooKeeper集群实际上感觉在独享整个集群的服务,所以,你可以在任何一个结点上建立到服务集群的连接,例如:#zkCli.sh-servercc-slaver2:21811.6停止zookeeper进程在ZooKeeper集群的每个结点上,执行停止ZooKeeper服务的脚本:#zkServer.shstop至此,Zookeeper集群安装完成。1.7HBase的安装和配置#tar-zxvfhbase-1.2.4.tar.gz1)配置conf/hbase-env.sh修改容如下:一个分布式运行的Hbase依赖一个zookeeper集群。所有的节点和客户端都必须能够访问zookeeper。默认的情况下Hbase会管理一个zookeep集群,即Hbase默认自带一个zookeep集群。这个集群会随着Hbase的启动而启动。而在实际的商业项目常自己管理一个zookeeper集群更便于优化配置提高集群工作效率,但需要配置Hbase。需要修改conf/hbase-env.sh里面的HBASE_MANAGES_ZK来切换。这个值默认是true的,作用是让Hbase启动的时候同...

1、当您付费下载文档后,您只拥有了使用权限,并不意味着购买了版权,文档只能用于自身使用,不得用于其他商业用途(如 [转卖]进行直接盈利或[编辑后售卖]进行间接盈利)。
2、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。
3、如文档内容存在违规,或者侵犯商业秘密、侵犯著作权等,请点击“违规举报”。

碎片内容

非关系型大数据库大作业

确认删除?
VIP
微信客服
  • 扫码咨询
会员Q群
  • 会员专属群点击这里加入QQ群
客服邮箱
回到顶部