Question

Kafka——分区partition

Answer 1

在之前的例子里(Kafka生产者——向Kafka写入数据)，ProducerRecord对象包含了目标主题、键和值。

第一步：将所有主题分区组成TopicAndPartition列表，然后对TopicAndPartition列表按照hashCode进行排序，最后按照轮询的方式发给每一个消费线程。

在Kafka中，每个Topic会包含多个分区，默认情况下个分区只能被个消费组下的个消费者消费，这就产了分区分配的问题。

分区越多所需要的文件句柄也就越多，可以通过配置操作系统的参数增加打开文件句柄数。

一句话，Kafka的Message存储采用了分区(partition)，分段(LogSegment)和稀疏索引这几个手段来达到了高效性。

kafka是一个分布式的、支持分区的（partition）、多副本的（replica），基于zookeeper协调的分布式消息系统。