Kafka分区原理简图

最近在用kafka作为消费队列,看的网上对分区的工作原理都是文字描述比较多,所以特地画了简图分享出来
  1. Kafka写入数据是随机写入某一个分区,每个分区内的数据是按照顺序的,如下图,每个分区的入库的数量并不一致
  2. Kafka消费时,如果只有一个进程,那么只能消费某一个分区的数据(随机监听某一个),当前分区消费完成后才会通过reblance过程,选择其他分区去消费。(如果当前分区一直有数据,那么其他分区的数据就会延迟消费
  3. 为了减少延迟消费和提升消费效率,建议消费的进程数和分区数保持一致,这样就不会有reblance过程,数据不管落到哪一个分区,都能被立即消费到

clipboard.png


lingkong
28 声望3 粉丝