以python为例,从pykafka到kafka-python到confluent-kafka到flink
要注意最好使用最新版本
pykafka和kafka-python性能不是很好,具体情况也可以查到
coufluent-kafka是Python模块,是对librdkafka的轻量级封装,librdkafka又是基于c/c++的kafka库,性能上不必多说。使用上要优于kafka-python。也支持异步,有事件轮循机制,所以在与torando结合使用好像有问题,因为tornado是单进程,加上GIL锁,可以看这个:
https://github.com/confluenti...
有些低版本安装后提示“confluent_kafka/src/confluent_kafka.h:22:32: fatal error: librdkafka/rdkafka.h: No such file or directory”,
可以apt-get install librdkafka-dev -y
另外最好producer和consumer使用同一模块同一版本,最近看老项目kafka查看消息显示的CreateTime都等于-1
所以项目上最好用flink
**粗体** _斜体_ [链接](http://example.com) `代码` - 列表 > 引用
。你还可以使用@
来通知其他用户。