电脑桌面
添加小米粒文库到电脑桌面
安装后可以在桌面快捷访问

hbase-0.98的region的大小配置心得

hbase-0.98的region的大小配置心得_第1页
1/3
hbase-0.98的region的大小配置心得_第2页
2/3
hbase-0.98的region的大小配置心得_第3页
3/3
最近在做 hbase 的读取优化工作,也优化了一些配置,这里着重讲一下我在配置 hbase 的region 的大小的时候遇上的一些问题。首先我知道在 habse 里面的的 hbase-site.xml 里面有这个配置,具体的如图所示:这个 hbase 默认的是 10g,我现在把他修改成 1g,然后重启 hbase,发现 region 的数目和大小都没有发生变化!!!我又去查阅资料,找到了一个相关帖子:明白了,原来 hbase 的 region 的大小调节在 0.94 以前只要配置 region 大小的属性就好了,他就会根据配置的小进行 split,但是!!在 0.94 之后,又加入了一个策略属性,hbase 有三个 spli 的策略,具体的如下所示:第一个(也是我要的):ConstantSizeRegionSplitPolicy : 按 固 定 长 度 分 割 region , 固 定 长 度 取 值 优 先 猎 取 table的 ” MAX_FILESIZE” 值 , 若 没 有 设 定 该 属 性 , 则 采 纳 在 hbase-site.xml 中 配 置 的hbase.hregion.max.filesize 值,在 0.94 版本中这个值的缺省值已经被调整为:10 * 1024 * 1024 * 1024L 也就是 10G,网上很多关于 hbase.hregion.max.filesize 默认值 1G 的文章应该都是基于 0.92 的 hbase 的第二个:IncreasingToUpperBoundRegionSplitPolicy : 根 据 region 数 量 累 增 划 分 region , 该 策 略 为Hbase 0.94 默认使用的策略,采纳该策略分割的 region 大小是不相等的,每次新 region 的大小随着 region 数量的增多而增大。第三个:KeyPrefixRegionSplitPolicy: 指 定 rowkey 前 缀 位 数 划 分 region , 通 过 读 取 table 的prefix_split_key_policy.prefix_length 属性,该属性为数字类型,表示前缀长度,在进行 split 时,按此长度对 splitPoint 进行截取。我选定了第一个策略,具体如下:配置好大小和策略,我又启动 hbase,打开 web 页面发现报错:然后打开日志发现:对于这样的情况,我以为是策略不对或者不支持,我有重新删除了策略,发现回复,但是没达到我的 split 的目标,对此,我咨询了群里的群主,然后修改了这个策略的 value 值具体如下:然后重启,发现 region 的数量和大小,都没有变化,表示很费解!群主大人给了建议就是手动进行大合并:完了登陆 web‘页面就会发现已经开始 compact 了:观察发现随着 compact 的进行,region 的数目朝着预期的目标增加,初步推断,修改成功!总结:有些资料和网上的东西,不见得就和自己的集群版本那么契合,要多问大牛,积累经验!

1、当您付费下载文档后,您只拥有了使用权限,并不意味着购买了版权,文档只能用于自身使用,不得用于其他商业用途(如 [转卖]进行直接盈利或[编辑后售卖]进行间接盈利)。
2、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。
3、如文档内容存在违规,或者侵犯商业秘密、侵犯著作权等,请点击“违规举报”。

碎片内容

hbase-0.98的region的大小配置心得

确认删除?
VIP
微信客服
  • 扫码咨询
会员Q群
  • 会员专属群点击这里加入QQ群
客服邮箱
回到顶部