Question

mapreduce 运行wordcount 多久

Answer 1

hadoop fs -mkdir /input
在HDFS中创建input文件目录

hadoop fs -put LICENSE.txt /input
我当前在hadoop的目录下，有个LICENSE.txt的文件，把它放到hdfs的input目录下面

hadoop fs -ls /input
查看文件是否正确传入到/input目录下
hadoop fs -cat /input/LICENSE.txt查看文件内容

执行：hadoop jar hadoop-mapreduce-examples-2.7.1.jar wordcount /input /output
或者绝对路径：
hadoop jar /home/yy/hadoop-2.7.1/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.1.jar wordcount /input /output

按我前面的配置会卡在mapreduce.Job: Running job

在etc/hadoop/mapred-site.xml中，如果配置
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
则使用yarn来进行计算，那么必须启动nodemanager,
如果不使用yarn,进行mapreduce.job.tracker配置，也可以用MRv2来执行job，这样就不需要启动nodemanager：
<property>
<name>mapreduce.job.tracker</name>
<value>hdfs://192.168.1.51:8001</value>
<final>true</final>
<property>

修改后可以正常运行，看到这个就成功了

hadoop fs -ls /output
查看输出结果的目录
hadoop fs -cat /output/part-r-00000
查看输出结果

结果就是对LICENSE.txt文件中单词进行计数统计了，到这就运行完成了。
这时你就可以把这个example导入了eclipse中去试试啦。