Question

10.kafka消费者如何分配分区

Answer 1

从好的方面来说，引入多个consumer的初衷大多是为了提升消费性能，即提升消费的吞吐量。试想你的业务消费代码打算消费100个分区的数据，使用一个consumer消费有很大可能使得各个分区的消费进度不均匀，且单个consumer单次poll回来的数据量是有限制的，最终消费端总的TPS也受限于单consumer的性能。
从不好的方面看，某个组内的consumer数越多，通常意味着该group经rebalance后达到稳定状态的时间也就越长，因而你可能需要为max.poll.interval.ms设置更大的值。曾经也见过国外有个用户发帖子抱怨说他的某个consumer group下有100个consumer，每次rebalance一次都要10分钟。具体的原因就在于coordinator需要等待所有的组成员都发送JoinGroup请求后才会将group置于AwaitingSync状态，然后等待leader成员分配方案并将方案发送给它，之后coordinator下发分配方案给各个成员。