面试官：Kafka和ES选主有什么区别？

Kafka 和 ES 都是用来处理大数据的中间件，一个是消息中间件的代表（Kafka），另一个是大数据搜索引擎的代表（ES）。它们在 Java 领域的使用非常广泛，在大数据方面就更不用说了，但它们的选主（选择主节点）有什么关联与区别呢？接下来，我们一起来看。

1.基础概念

1.1 什么是Kafka？

Kafka 是一个分布式流处理平台，由 LinkedIn 公司开发和维护，之后成为 Apache 软件基金会的一部分。它主要是为处理实时数据而设计的，是一个高吞吐量的分布式发布订阅消息系统。

Kafka 集群组成如下：

说明：每个 Broker 就是一个 Kafka 实例（其中的 Broker 1 为 Controller，也就是主 Broker），一个 Broker 中有多个 Topic，一个 Topic 中有多个分区，分区分为两类：Leader 分区和 Follower 分区。

1.2 什么是ES？

ES 全称 Elasticsearch，是一个开源的高扩展的分布式全文检索引擎。它可以近乎实时地存储、检索数据，并且具有出色的扩展性，可以扩展到上百台服务器，处理 PB 级别的数据。Elasticsearch 使用 Java 开发，并使用 Apache Lucene 作为其核心来实现所有索引和搜索的功能，但它通过简单的 RESTful API 来隐藏 Lucene 的复杂性，使得全文搜索变得简单。

ES 集群组成如下：

说明：一个 ES 集群中只有一个 Master（主节点）节点，其他的为数据节点（还有其他节点类型，这里忽略），主节点协调整个集群的工作，数据节点中存储了多个分片，每个分片分为两种类型：主分片和副本分片（类似 Kafka 中分区的概念）。

2.Kafka和ES选主

Kafka 选主指的是选 Broker 中的 Controller，而 ES 选主指的是选取集群中的 Master，它们两个的关联是 Kafka 新版本（2.8 之后）和 ES 新版本（7.0 之后），它们的选主策略都是基于 Raft 算法实现的。

PS：当然，Kafka 中叫做 KRaft，ES 也是在 Raft 算法的基础上扩充了二阶段选举，但它们基于的底层算法都是 Raft 算法。

3.什么是Raft算法？

Raft 算法是一种分布式一致性算法，主要用于在分布式系统中实现数据副本的一致性。该算法是 Paxos 算法的工程实现，其主要特点是通过较为简单的算法实现分布式系统的数据一致性和高可用。

Raft 算法的核心是通过选举投票，少数人服从多数人的原则（投票过半原则），如果有一半以上的人投票给某个节点作为 Leader，那么它就是新的 Leader。

在 Raft 算法中，分布式系统中的所有节点被划分为三种角色：领导者（Leader）、追随者（Follower）和候选人（Candidate），这三者身份的转换如下：

1. leader -> follower：倘若 leader 发现当前系统中出现了更大的任期，则会进行“禅让”，主动退位成 follower。这里 leader 发现更大任期的方式包括：

   1. 向 follower 提交日志同步请求时，从 follower 的响应参数中获得。
   2. 收到了来自新任 leader 的心跳或者同步日志请求。
   3. 收到了任期更大的 candidate 的拉票请求。
2. follower -> candidate：leader 需要定期向 follower 发送心跳，告知自己仍健在的消息。倘若 follower 超过一定时长没收到 leader 心跳时，会将状态切换为 candidate，在当前任期的基础上加 1 作为竞选任期，发起竞选尝试补位。

3. candidate -> follower：candidate 参与竞选过程中，出现以下两种情形时会退回 follower：

   1. 多数派投了反对票。
   2. 竞选期间，收到了任期大于等于自身竞选任期的 leader 传来的请求。
4. candidate -> leader：candidate 竞选时，倘若多数派投了赞同票，则切换为 leader。

5. candidate -> candidate：candidate 的竞选流程有一个时间阈值. 倘若超时仍未形成有效结论（多数派赞同或拒绝），则会维持 candidate 身份，将竞选任期加1，发起新一轮竞选。

   4.Raft选举流程

   Raft 算法的选举流程如下图所示：
   
   它的投票流程有三种：

6. 竞选者投票给原 leader：

   1. 倘若该任期小于自身，拒绝，并回复自己的最新任期。
   2. 倘若该任期大于自身，退位为 follower，按照 follower 的模式处理该请求。

7. 竞选者投票给 follower：

   1. 倘若任期落后于自己，拒绝请求，并回复自己所在的任期。
   2. 倘若任期大于自己，判断最后的同步日志是否够新，如果比自己新就把这一票投给竞选者，如果没有自己新则拒绝。

8. 竞选者投票给 candidate：

   1. 倘若 leader 任期大于等于自己，同意此次投票，并退回 follower，按照 follower 模式处理请求。
   2. 如果 leader 任期小于自己，拒绝，并回复自己的最新任期。

每个竞选者根据以上投票来决定新的 leader，如果有一个投票过半，那么它就升级为新的 leader，并把这个消息同步给其他节点。否则会开启新的一轮投票，为了防止一直投票，会在开启新一轮投票时，设置的随机等待时间，和一定次数投票失败后弃权的机制，来保证投票顺利完成。

课后思考

Kafka 针对 Raft 算法做了哪些调整和升级？ES 针对 Raft 算法又做了哪些调整和升级？

参考 & 鸣谢

《小徐先生》

本文已收录到我的面试小站 www.javacn.site，其中包含的内容有：Redis、JVM、并发、并发、MySQL、Spring、Spring MVC、Spring Boot、Spring Cloud、MyBatis、设计模式、消息队列等模块。