Hbase - 批量写入加速技巧
之前我们的线上业务一直使用的是Hbase的单条put操作,为了提高程序的写入性能我们还针对业务进行了修改,将日志批量化,也就是hbase的put多条操作,后面发现hbase的客户端是支持本地批量操作,而且还挺多配置的,这次主要针对的是 Hbase2.x 的版本进行演示说明, 1.X 不在本文章的范围内,因为线上的Hbase没有这个版本,作为同龄的小伙伴们是知道 大猪佩琪 不会去线上安装这样一个版本来演示。
说实话,这样子使用Hbase来写操作其实是最多人的,之前也包括我们在内。
案发现场还原:
但是,这不是你不想 加速 不想 进步 的理由,看了 大猪佩琪 这篇文章之后 ,不想进步都难,又多了一个跟我抢饭碗的,看我下面煮的饭:
看到这几句,是不是有种相见恨晚的感觉?不闹了,容 大猪佩琪 慢慢道来:
不设置就默认为 10M 大小。
上面的解析已经完了,相信大家都会用了,还不会的话,请看下图 + 例子:
给你给你
Hbase 2.x 配置
org.apache.hadoop.hbase.client.ConnectionConfiguration 头部默认配置
validatePut 源码
doFlush 源码