eclipse下怎么打包java代码成jar到hadoop下运行
2016-10-13 · 做真实的自己 用良心做教育
千锋教育
千锋教育专注HTML5大前端、JavaEE、Python、人工智能、UI&UE、云计算、全栈软件测试、大数据、物联网+嵌入式、Unity游戏开发、网络安全、互联网营销、Go语言等培训教育。
向TA提问
关注
展开全部
(1)首先将下载好的Hadoop源码解压,将解压后顶级目录和lib中的压缩文件加载到你的工程中(他们包括了hadoop源码和一些需要的第三方源码),然后就可以编写hadoop程序了。
(2)编写好hadoop程序,调试没有错误后,就可以通过(jar -cvf yourname.jar -C bin/ .),将工程中bin目录下编译好的.class文件打包成你想要的.jar压缩文件包。
(3)将yourname.jar压缩包复制到你的hadoop目录下,通过命令hadoop jar yourname.jar yourMainClass /data/inputfile /data/outputfile。如果是在完全分布式的hadoop配置环境下,需要通过hadoop命令在hadoop的hdfs系统中创建文件目录然后将本地的输入数据复制到hdfs系统中,命令有:
hadoop fs -mkdir data:创建一个名问data的文件夹
hadoop fs -ls :查看hdfs文件系统中的文件目录
hadoop fs -copyFromLocal /data/input /user/data :将本地文件input复制到hdfs系统的/user/data目录下
hadoop fs -copyToLocal /user/data/output/ /data/ :将hdfs系统中的output文件夹复制到本地系统中。
(2)编写好hadoop程序,调试没有错误后,就可以通过(jar -cvf yourname.jar -C bin/ .),将工程中bin目录下编译好的.class文件打包成你想要的.jar压缩文件包。
(3)将yourname.jar压缩包复制到你的hadoop目录下,通过命令hadoop jar yourname.jar yourMainClass /data/inputfile /data/outputfile。如果是在完全分布式的hadoop配置环境下,需要通过hadoop命令在hadoop的hdfs系统中创建文件目录然后将本地的输入数据复制到hdfs系统中,命令有:
hadoop fs -mkdir data:创建一个名问data的文件夹
hadoop fs -ls :查看hdfs文件系统中的文件目录
hadoop fs -copyFromLocal /data/input /user/data :将本地文件input复制到hdfs系统的/user/data目录下
hadoop fs -copyToLocal /user/data/output/ /data/ :将hdfs系统中的output文件夹复制到本地系统中。
推荐律师服务:
若未解决您的问题,请您详细描述您的问题,通过百度律临进行免费专业咨询