Question

Spark-RDD分区器

Answer 1

Spark中现在支持的分区器有Hash分区器和Range分区器，除此之外，用户也可以自定义分区方式。默认的分区方式为Hash分区器。

Spark中的分区器直接决定了RDD中分区的个数，以及RDD经过Shuffle后数据的分区和Reduce的任务数。

注：

可以通过RDD的 partitioner 属性来获取RDD的分区器。

结果：

看到现在没有分区器，现在我们设置分区器并重新分区：

结果：

可以看到分区器已经成为我们指定的 HashPartitioner

HashPartitioner分区的原理：对于给的key，计算其hashcode，并除以分区数取余，如果余数小于0，则设置分区ID为余数+分区的个数，若大于0则，直接设置余数为分区ID。

使用HashPartitioner存在一些弊端，由于散列函数会发生碰撞，对于不同的数据，发生碰撞的概率不同，因此会导致分区数据的倾斜问题。

而RangePartitioner则很好的解决了这个问题，它将将一定范围的数据映射至某一分区，尽可能的保证分区间数据量均匀，实现过程为：

要实现自定义分区，需要继承Partitioner类，并实现以下方法：