Question

如何用Spark来实现已有的MapReduce程序

Answer 1

在Spark中，reduceByKey可以被用来统计每个单词的总数。比如出于某种原因要求输出文件中每个单词都要显示为大写字母和其数量，在MapReduce中，实现如下：
public class CountUppercaseReducer extends
Reducer<Text, IntWritable, Text, IntWritable> {
@Override
protected void reduce(Text word, Iterable<IntWritable> counts, Context context)
throws IOException, InterruptedException {
int sum = 0;
for (IntWritable count : counts) {
sum += count.get();
}
context
.write(new Text(word.toString().toUpperCase()), new IntWritable(sum));
}
}
但是redeceByKey不能单独在Spark中工作，因为他保留了原来的key。为了在Spark中模拟，需要一些更像Reducer API的操作。大家知道Reducer的reduce方法接受一个key和一组值，然后完成一组转换。groupByKey和一个连续的map操作能够达到这样的目标:
groupByKey().map {
case (word,ones) => (word.toUpperCase, ones.sum)
}
groupByKey只是将某一个key的所有值收集在一起，并且不提供reduce功能。以此为基础，任何转换都可以作用在key和一系列值上。此处，将key转变为大写字母，将values直接求和。

Answer 2

C源程序：

#include "stdio.h"

void main()
{
int n = 6;
int i, j;

for(i=0; i<n; i++)
{
/* 输出前导空格 */
for(j=0; j<i; j++)
printf(" ");

/* 输出星号 */
for(j=0; j<n-i; j++)
printf("* ");

printf("\n");
}
}