Question

如何确定Kafka的分区数，key和consumer线程数

Answer 1

分区实际上是调优Kafka并行度的最小单元。 对于producer而言，它实际上是用多个线程并发地向不同分区所在的broker发起Socket连接同时给这些分区发送消息； 而consumer呢，同一个消费组内的所有consumer线程都被指定topic的某一个分区进行消费(具体如何确定consumer线程数目我们后面会详细说明)。 所以说，如果一个topic分区越多，理论上整个集群所能达到的吞吐量就越大。