Question

java程序怎么向远程的hadoop提交mapreduce任务

Answer 1

1. 将 hadoop执行job命令写到shell脚本中。类似 hadoop jar  x.jar  ×××.MainClassName inputPath outputPath这种命令。
   

2. hadoop客户机在本地，使用 Process执行shell脚本，java执行本地shell脚本的代码
   

  

Process process =null;
String command1 = " ./test.sh"；
process = Runtime.getRuntime().exec(command1);
process.waitFor();

3.hadoop 在远程服务器上，java可以使用SSH连接远程服务器执行shell脚本。需要借助第三方jar包实现，常用的是ganymed-ssh2-build210.jar，网上有很多例子。