hadoop 是怎么分配map,reduce的,数量,以及怎么决定哪个dataNode上来运行,map,Reduce的。
比如我有10个节点，但是只有5个map,怎么决定哪5个节点来运行map，还有map和reduce是1对1的关系吗，都分配到同一个节点上执行吗？...
比如我有10个节点，但是只有5个map,怎么决定哪5个节点来运行map，还有map和reduce是1对1的关系吗，都分配到同一个节点上执行吗？
展开
展开全部
hadoop的一大优势就是底层透明，所以你是不能用正常的方法选择特定的节点来运行的。
hadoop会自动根据数据的分布来选择节点运行map。
map和reduce不是1对1的，通常map数量远远超过reduce，reduce常常是每个节点上一个。
hadoop会自动根据数据的分布来选择节点运行map。
map和reduce不是1对1的，通常map数量远远超过reduce，reduce常常是每个节点上一个。
已赞过
已踩过<
评论
收起
你对这个回答的评价是？
展开全部
maptask的数量由split决定，reducetask的数量由mapred.reduce.tasks决定，这个参数在conf中设置。具体的分配跟到同一个节点上没有关系
已赞过
已踩过<
评论
收起
你对这个回答的评价是？
展开全部
这个没学过。。。。。。。
已赞过
已踩过<
评论
收起
你对这个回答的评价是？
推荐律师服务：
若未解决您的问题，请您详细描述您的问题，通过百度律临进行免费专业咨询
