Question

hadoop 是怎么分配map,reduce的,数量,以及怎么决定哪个dataNode上来运行,map,Reduce的。

比如我有10个节点，但是只有5个map,怎么决定哪5个节点来运行map，还有map和reduce是1对1的关系吗，都分配到同一个节点上执行吗？

Answer 1

hadoop的一大优势就是底层透明，所以你是不能用正常的方法选择特定的节点来运行的。
hadoop会自动根据数据的分布来选择节点运行map。

map和reduce不是1对1的，通常map数量远远超过reduce，reduce常常是每个节点上一个。

Answer 2

maptask的数量由split决定，reducetask的数量由mapred.reduce.tasks决定，这个参数在conf中设置。具体的分配跟到同一个节点上没有关系

Answer 3

这个没学过。。。。。。。