kafka 新增分区 消费组偏移量失效吗?

Question

假设开始 3 各分区, 消费组 group 在3个分区上的偏移量是 1,2,3.
现在分区增加到 5 , group 拿原先的偏移量能够正常消费有序的消息吗.

1) 历史数据所在分区在新增分区的情况下, 默认不会移动呗? 就是还在原来的分区.
2) 那可以改变历史数据所在的分区吗?
3) 如果改了, 原来的group的偏移量还有效吗?

Answer 1

可以正常消费。

但要注意增加分区后触发 Rebalance，正在消费的偏移量有可能未能提交，会有重复消费的问题（但这个问题其实跟增加分区没啥关系）。