Hbase - 批量写入加速技巧

 我来答
会哭的礼物17
2022-07-09 · TA获得超过1.2万个赞
知道大有可为答主
回答量:6499
采纳率:100%
帮助的人:37.4万
展开全部

之前我们的线上业务一直使用的是Hbase的单条put操作,为了提高程序的写入性能我们还针对业务进行了修改,将日志批量化,也就是hbase的put多条操作,后面发现hbase的客户端是支持本地批量操作,而且还挺多配置的,这次主要针对的是 Hbase2.x 的版本进行演示说明, 1.X 不在本文章的范围内,因为线上的Hbase没有这个版本,作为同龄的小伙伴们是知道 大猪佩琪 不会去线上安装这样一个版本来演示。

说实话,这样子使用Hbase来写操作其实是最多人的,之前也包括我们在内。
案发现场还原:

但是,这不是你不想 加速 不想 进步 的理由,看了 大猪佩琪 这篇文章之后 ,不想进步都难,又多了一个跟我抢饭碗的,看我下面煮的饭:

看到这几句,是不是有种相见恨晚的感觉?不闹了,容 大猪佩琪 慢慢道来:

不设置就默认为 10M 大小。

上面的解析已经完了,相信大家都会用了,还不会的话,请看下图 + 例子:

给你给你

Hbase 2.x 配置
org.apache.hadoop.hbase.client.ConnectionConfiguration 头部默认配置

validatePut 源码

doFlush 源码

已赞过 已踩过<
你对这个回答的评价是?
评论 收起
推荐律师服务: 若未解决您的问题,请您详细描述您的问题,通过百度律临进行免费专业咨询

为你推荐:

下载百度知道APP,抢鲜体验
使用百度知道APP,立即抢鲜体验。你的手机镜头里或许有别人想知道的答案。
扫描二维码下载
×

类别

我们会通过消息、邮箱等方式尽快将举报结果通知您。

说明

0/200

提交
取消

辅 助

模 式