kafka的正常在均衡会不会导致消息丢失或者重复消费？

Question

正常的在均衡比如：增加消费者或者增加分区，没有宕机的事故，会不会导致消息丢失或者重复消费呢？
我记得在均衡时会强制消费者提交偏移量，应该不会出现上述问题把？

Answer 1

你说的“宕机”是指的什么？消费超时算宕机吗？因消费超时导致消费者被踢出、从而引发 Rebalance，这就是可能会重复消费的啊。而丢消息这种事跟 Rebalance 也没啥关系吧，是 kafka 本身的落盘机制决定的。

如果你说的宕机是指所有异常情况都算宕机，那确实如你所言只要不宕机就不会出现问题。但生产里哪能假设不出异常呢？

Answer 2

Kafka常见的导致重复消费原因和解决方案：https://cloud.tencent.com/developer/article/1665700：
Kafka什么情况下会丢失消息？如何做到消息不丢失？：https://blog.csdn.net/weixin_43958358/article/details/1149357...
如何搞定Kafka重复消费？：https://zhuanlan.zhihu.com/p/141720058
聊聊 Kafka：Kafka 消息重复的场景以及最佳实践：https://juejin.cn/post/7096872853122842638