Question

如何远程读取CDH的hadoop上的HDFS数据

Answer 1

需要在实例化出来的Configuration中加入HDFS的端口路径即可，其他的除了hadoop的jar包外，任何配置文件都不需要，核心代码如下：

static Configuration conf=new Configuration();
static FileSystem fs=null;
static{
try {
//默认的hadoop的fs.defaultFS的端口号为8020，这里需要跟集群里面的配置一致
conf.set("fs.defaultFS","hdfs://dnode1:8020/");
fs=FileSystem.get(conf);
} catch (IOException e) {
log.error("初始化FileSystem失败！",e);
}
}

OK，只需要这简单的一行，我们就可以读取HDFS上的数据了