Question

sqoop 从 hive 导出到 mysql 一直卡在map 100% reduce 0% 不动

数据量非常小 但是就是导出不了

Answer 1

我的也是这样 我的导出代码是
/bigdata/sqoop/bin/sqoop export \
--connect "jdbc:mysql://192.168.0.211:3306/bigdata?useUnicode=true&characterEncoding=utf-8" \
--username $mysql_db_name \
--password $mysql_db_pwd \
--table $table_name \
--input-fields-terminated-by '\001' \
--export-dir $hadoop_dir

Answer 2

把你的sqoop语句发出了看看？

追问

sqoop export --connect jdbc:mysql://10.0.0.90:3306/dmdb --username dm_user --password ****** --table h52_case_csum_m --hcatalog-table h52_case_csum_m --hcatalog-database csu

追答

最后加上--batch 看看详细的输出日志 不知道mysql支不支持direct模式，试一下--direct 加在--table前面
另外 我这边导出的时候是指定hive文件导出的 --export-dir /user/hive/warehouse/XXX/XXX;