Question

Hive 数据导入 HBase

Answer 1

https://segmentfault.com/a/1190000011616473

一、Hive 跑批
1.建表

默认第一个字段会作为hbase的rowkey。

2.导入数据

将userid插入到列key，作为hbase表的rowkey。

二、生成中间的HFile

-Dimporttsv.bulk.output ： HFile输出目录
-Dimporttsv.columns：HBase表中的列簇、列名称，注意顺序与Hive表一致。
binlog_ns:hbase_hfile_load_table ：binlog_ns 名称空间下的hbase_hfile_load_table表
hdfs://namespace1/apps/hive/warehouse/original_tmp_db.db/hbase_hfile_table : 是Hive 表original_tmp_db.hbase_hfile_table的数据路径

ImportTsv 会去读取 Hive表数据目录中的文件，并分析 hbase table 的region 分布， 生成对应region的hfile, 放到 -Dimporttsv.bulk.output目录下

三、通过bulkload 加载HFile到HBase表

读取HFile目录下文件，加载到HBase表中