kafka consumer 突然不消费

kafka客户端用来消费日志数据,有两个机器消费。但是经常性的消费一会儿,就不消费了,zk上没有节点了,服务没有停,没有抛异常资源也足够了,但就是莫名其妙zk断了。还有几次是压根没起来,在连接zk那一步就卡住了。

更奇怪的是,两个机器,我启动一台,另一台就起不来,有时候另一台起来了,第一台又死了,感觉这俩消费者好像是互斥的一样。

我的配置是这样的:

group.id = group_houtai_logcenter-es1
zookeeper.connect = 10.37.8.54:2181,10.37.8.55:2181,10.37.8.56:2181
zookeeper.session.timeout.ms = 40000
zookeeper.sync.time.ms = 200
auto.commit.interval.ms = 1000

fetch.message.max.bytes=10485760

compression.codec = 0
serializer.class = kafka.serializer.StringEncoder

partitions.count = 4

consumer.count = 2

rebalance.max.retries = 10
rebalance.backoff.ms = 50000

很疑惑,求解答

阅读 6.6k
1 个回答

两个kafka实例的server.properties中的broker.id是否重复了?

撰写回答
你尚未登录,登录后可以
  • 和开发者交流问题的细节
  • 关注并接收问题和回答的更新提醒
  • 参与内容的编辑和改进,让解决方法与时俱进