Question

如何将hive查询结果导出成txt文件

Answer 1

　　最近在使用hive时，需要将hive查询的数据导出到本地文件系统，HQL语法如下：
　　INSERT OVERWRITE [LOCAL] DIRECTORY directory1 select_statement1
　　查询结果导出到本地文件后，试图使用excel加载时遇上了麻烦：不知道hive导出文件时使用的分隔符，
　　使用文本编辑器打开也显示乱码。
　　最后在官方文档上找了半天才发现，hive使用 ^A 符号作为域的分隔符，原文如下：
　　Data written to the filesystem is serialized as text with columns separated by ^A
　　在python中可以使用line.split('\x01')来进行切分，也可以使用line.split('\001')，注意其中是单引号
　　在java中可以使用split("\\u0001")来进行切分
　　如果确实需要将查询结果导出到本地文件，最好使用hive的命令：
　　[sql] view plaincopy在CODE上查看代码片派生到我的代码片
　　bin/hive -e "select * from test" >> res.csv
　　
　　或者是：
　　
　　bin/hive -f sql.q >> res.csv
　　
　　其中文件sql.q写入你想要执行的查询语句

　　这问题在使用hive hql streaming时也会遇到，当你使用hql strreaming 将输出直接写入到hdfs目录，然后你在该目录上创建hive 外部表时，hive的输出结果会将streaming 的key和value之间的分隔符修改为 \001，所以，在hql streaming和输出为hive 外部表时，最好将streaming的最后输出的分隔符修改为\001，并且hive外部表的分隔符应该设置为\001，注意：不要使用^A和\x01，如：
　　[html] view plaincopy在CODE上查看代码片派生到我的代码片
　　create external table site_user_mapping_info_month(uid String,tag string,project_ids string,site_interests string) PARTITIONED BY(year String, month String) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\001' LOCATION '/project/site_grouping/site_user_mapping_info_month';

Answer 2

在装有hive的服务器执行
hive -e "select id, name from table_name" > /tmp/out.txt