Kafka分区原理简图
最近在用kafka作为消费队列,看的网上对分区的工作原理都是文字描述比较多,所以特地画了简图分享出来
- Kafka写入数据是随机写入某一个分区,每个分区内的数据是按照顺序的,如下图,每个分区的入库的数量并不一致
- Kafka消费时,如果只有一个进程,那么只能消费某一个分区的数据(随机监听某一个),当前分区消费完成后才会通过reblance过程,选择其他分区去消费。(如果当前分区一直有数据,那么其他分区的数据就会延迟消费)
- 为了减少延迟消费和提升消费效率,建议消费的进程数和分区数保持一致,这样就不会有reblance过程,数据不管落到哪一个分区,都能被立即消费到
**粗体** _斜体_ [链接](http://example.com) `代码` - 列表 > 引用
。你还可以使用@
来通知其他用户。