Question

hadoop的mapreduce编程遇到了如下几个问题：

我把NumReduceTasks设为5，但是输出只有一个文件夹（这个文件包含了所有应该输出的信息）。按理说应该有5个才对啊？
针对一个（key,value）如何在屏幕上输出处理它的reducer的编号？（要用系统函数，而不是hash公式）
3.输出文件的个数可以手动控制吗？

Answer 1

一个reduce对应一个输出文件，而不是输出文件夹，如果想要输出到多个文件夹建议使用MultiOutputFormat，如何使用请自己脑补。
至于如何获取reducer编号，应该可以在reduce内部使用context.getTaskAttemptID().getTaskID().getId()获得

追问

我说错了，是只有一个输出文件(.txt格式)，可我把reduce个数设为5了，这是为什么？谢谢了

追答

你使用5个reduce，你能确定你的所有map输出结果的hash值/5取余能分成五份吗，reduce划分任务是使用paritition函数的，默认是hash值取余，所以如果你的map输出的key全部一样的话，可能就只分成一个reduce任务了。你检查你集群上所有的tasktracker上的关于这个job的日志，看看有多少个reduce日志文件

Answer 2

分别对map函数和reduce函数进行测试，功能正确后，就可以在小规模集群上进行测试，测试成功后就可以在hadoop集群上进行运行。这里先不介绍单元测试的知识，后面再专门介绍如何在hadoop中使用mrunit进行单元测试。
mrunit是由couldera公司开发的...