Question

udaf可以用python写吗

Answer 1

Java来实现Hive的写法

package jsl.hive.udf;

import org.apache.hadoop.hive.ql.exec.UDF;
import org.apache.hadoop.io.Text;

public final class DomainRoot extends UDF {
public Text evaluate(Text s) {
if (s == null) {return null;}
String tmp = s.toString();
tmp = this.getDomainRoot(tmp);
return new Text(tmp);
}

private String getDomainRoot(String domain) {
throw NoneImplementException("xxxx");
}
}

如果Java的UDF需要当成常用的，不用每次add可以注册到Hive中，
ql/src/java/org/apache/hadoop/hive/ql/exec/FunctionRegistry.java中加入
registerUDF("domain_root", UDFParseUrl.class, false);并重新编译hive即可

下面来说说重点，通过Streaming用Python来写处理。
关于Streaming的基础内容：

约束：首先必须add file到hive中（当python中引用了其他如自己写的模块时，也需要一并add进去）
其次非常不幸,在单独的一个查询中，不能够使用UDAF的函数如sum()
再次不得为中间结果数据使用cluster by或distribute by

注意：对于优化查询，使用cluster by或distribute by 和sort by一起非常重要