kafka 系列 -- 1、基本概念

前言

思考的过程往往比直接得到结论更加重要

kafka 应用场景

1. 应用监控
2. 网站用户行为追踪
3. 流数据
4. 持久性日志

基本概念

在说基本概念前，先看一下 kafka 的系统架构

1. Broker
   一般而言，一台机器就是一个 broker，当然 1 台机器上可以部署多个 broker
2. Producer
   消息的生产者
3. Consumer
   消息的消费者
4. Consumer Group
   消费者组，组内可以有多个消费者，共享同一个 groupid。消费组内的消费者，一般情况下为同一个消费者部署多个实例。
5. Topic
   topic 在 kafka 中是一个逻辑上的概念，用于将 partition 分类。1 个 topic 有多个 partition。生产者将消息发送到指定的 topic 中，消费者从指定的 topic 进行消费。
6. partition
   一个可追加的日志存储文件。kafka 的分区可以分布在不同的 broker 上

7. 多副本机制
   kafka 为 partition 引入了多副本机制，可以通过增加副本数量来提升容灾能力。同一分区中的不同副本保存相同的消息。副本之间一般是 一主多从。如下图，每个分区有 3 个副本

   1. AR
      集群中的副本，统称 AR（Assigned Replication），AR = ISR + OSR
   2. ISR
      与 leader 副本保持一定同步的副本，称为 ISR（in-sync-replication）。消息需先发送到 leader 副本，follower 才能从 leader 副本中拉取消息
   3. OSR
      与 leader 副本同步滞后过多的副本，称为 OSR（out-sync-replication）。
   4. leader 副本
      leader 副本负责维护 follower 副本的状态，当 ISR 副本中滞后 leader 副本过多，会被移除到 OSR 副本中。当 OSR 副本跟上了 leader 副本，会被移动到 ISR 副本。只有在 ISR 集合的副本，才有机会选举 leader
   5. HW、LEO
      HW（Hight Watermark）俗称高水位，标识一个特定的偏移量，消费者只能拉取该偏移量之前的消息
      LEO（Low End Offset）日志最后偏移量。标识日志文件中待写入消息的偏移量
   6. 关系图
      图 2: HW、LEO 的关系
      
      图 3 - 图4: leader 副本、follower、HW、LEO 关系
      
      消息写入之后，LEO 变成5，follower，会从 leader 中拉取消息，进行同步
      
      当 ISR 集合的副本都写入 3 后，HW 就会变成 4，表示 0-3 的消息为可消费
      
      当 ISR 集合都写入 3 、4 之后，HW、LEO 值都变成 5
      
   7. 总结
      kafka 消息的写入，是可靠性和可用性的权衡。当 ISR 副本均写入消息时，不用等待 OSR 副本也写入消息。这里避免了 OSR 滞后太多，从而导致不可用性，且消息被写入到多个副本，也保证了消息的可靠性。
      当 leader 写入完消息立即挂掉后，ISR 副本因未能同步到消息，从而导致消息丢失。

与 RocketMQ 区别

1. partition 在 RocketMQ 中为 队列。消费模型也几乎一致，基于消费组进行消费
2. RocketMQ 有自带的注册中心，无需 zookeeper。
3. kafka partition 有多副本机制，RocketMQ 队列没有多副本机制
4. kafka 多副本机制有丢消息问题，RocketMQ 则没有
5. 从设计上来看，RocketMQ 与 kafka 的解决的应用场景不一样。RocketMQ 注重消息的可靠性，而 kafka 在这一方面比较弱，kafka 更注重系统吞吐量。因此 kafka 不适合要求消息不能丢的场景。