生产者丢数据

https://github.com/dpkp/kafka...

根据 smalyshev 的描述,当生产者循环不停的提交 message ,如果 kafka 宕机了,提交不会报错,还是会一直不停的提交,但是 kafka 已经宕机了不会接受消息呀,但是此事 kafka-python 却不会报错,还是一直提交,没提交上的就丢弃了。。。连个错误提示都不会有,站在程序员的角度来看,这个消息到底是提交成功还是提交失败的我们也不知道

消费者丢数据

这里说的消费者丢数据不是那种,而是因为 kafka-python 的 bug 导致的丢数据。

https://www.infoq.cn/article/...

大概的意思就是说 kafka-python 的迭代机制有问题,会导致取回来的数据在还没有消费之前就没了


universe_king
3.4k 声望680 粉丝