Question

如何正确使用Hadoop YARN Restful api提交spark应用

Answer 1

以wordcount为例，在map阶段，map函数在每个单词后面加上一个1；

在reduce阶段，reduce函数将相同单词后面的1都加起来。

其中hadoop框架实现过程中的排序，分配等，当然这些也可以通过自定义的函数来控制。