Question

关于hive中如何创建外部分区表并且自动指定相应分区？

问题描述：
项目需求，通过flume从本地抽取数据到hdfs中（这个过程以实现），抽取到hdfs的文件是以当天的时间命名的文件，存放当天更新的数据。比如说，今天是2017年1月5号，所以在hdfs存储的目录（假设为/user/flume/）下会自己生成一个文件为20170105的文件，文件下存放的是今天抽取数据的文件夹，而明天则会生成一个20170106的文件夹存放明天抽取数据的文件夹。现在文件夹是以时间作为划分的。此时我如果需要建一个表，导入里面的/user/flume目录下的20170105和20170106文件下的内容我需要怎么做呢？
首先我想到的方法是：
create EXTERNAL table IF NOT EXISTS test(
param1 string,
param2 string,
param3 string,
param4 string)
partitioned by (month string)
ROW FORMAT DELIMITED FIELDS TERMINATED BY ','
STORED AS TEXTFILE
location '/user/flume/20170105';
可是这里出现了一个问题，就是我只能指定这一个路径。

后来我又想了一种方式就是：
create EXTERNAL table IF NOT EXISTS test(
param1 string,
param2 string,
param3 string,
param4 string)
partitioned by (month string)
ROW FORMAT DELIMITED FIELDS TERMINATED BY ','
STORED AS TEXTFILE；

alter table test add partition (month = '20170105') location '/user/flume/20170105';
alter table test add partition (month = '20170106') location '/user/flume/20170106';
可是这样又会出现一个问题就是我如果每天都要采集数据，每天都会生成文件，比如第三天生成20170107，我岂不是每次都要手动去添加一个分区进入这张表中，可是我不这样做，我又要怎么做呢？

Answer 1

直接用hive load data 把天的数据导入月分区，导入时指定分区，不用提前创建。
Syntax

LOAD DATA [LOCAL] INPATH 'filepath' [OVERWRITE] INTO TABLE tablename [PARTITION (partcol1=val1, partcol2=val2 ...)]
具体可以参考官方文档，了解HIVS SQL DML操作：
https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DML#LanguageManualDML-InsertingdataintoHiveTablesfromqueries

即需求场景应该是：按照天为目录生成了多个数据文件，但想要在HIVE中通过月来建立分区以便进行统计分析；

追问

可是那样不能做到自动导入啊，我想的是能自动导入数据。当数据量大的时候。比如说我每天都有产生很多文件，我把这些文件都通过flume扫描到了hdfs中，那按照每天生成的文件，我想根据月来进行分区的话，hdfs的文件一有变化我就需要自己手动导入？一天可以，一个月也可以，那一年呢？还要自己每天导入吗？还有一年的数据一次性导入分区，那我还要写导入哪天的分区吗？