本文作者:李伟,Apache RocketMQ Committer,RocketMQ Python客户端项目Owner ,Apache Doris Contributor,腾讯云数据库开发工程师。
01 RocketMQ 4.9.X架构
在4.9.X中每个组件和组件之间的通信简单说明如下:
组件和数据流 | 说明 |
---|---|
Namesrv | 无状态服务,保存Topic路由信息Topic路由=topic-queue-broker |
Broker | 有状态服务,处理计算和存储。计算 = 生产者请求,消费者请求,管理请求,Broker系统服务(比如索引构建服务,消息过期服务)存储 = 消息存储,索引存储 |
Broker -> Namesrv | Broker定期把Broker信息+当前Broker中的Topic信息上报Namesrv |
生产者 | 生产消息 |
生产者<-> Namesrv | 生产者从Namesrv获取Topic路由信息, 包含Broker IP |
生产者<-> Broker | 生产者通过Topic路由信息,把消息直接发送给Broker生产者定期和Broker心跳,上报当前生产者实例信息 |
消费者 | 消费消息 |
消费者<-> Namesrv | 消费者从Namesrv获取Topic路由信息, 包含Broker IP |
消费者 <-> Broker | 消费者通过Topic路由信息,从指定Broker中拉取消息消费消费者定期和Broker心跳,上报当前消费者实例信息 |
1、生产者通过Topic路由信息,把消息直接发送给Broker。
2、生产者定期和Broker心跳,上报当前生产者实例信息。
消费者消费消息消费者<-> Namesrv
1、消费者从Namesrv获取Topic路由信息, 包含
Broker IP消费者 <-> Broker 。
- 消费者通过Topic路由信息,从指定Broker中拉取消息消费。
- 消费者定期和Broker心跳,上报当前消费者实例信息。
02 RocketMQ 5.0.0 架构
在5.0.0 中每个组件和组件之间的通信简单说明如下:
组件和数据流 | 说明 |
---|---|
Namesrv | 无状态服务,保存Topic路由信息Topic路由=topic-queue-broker。在5.0.0时,Namesrv进程中可以嵌入Controller模块。若设置enableControllerInNamesrv=true,在Namesrv进程中嵌入启动一个Controller实例 |
Broker | 有状态服务,处理计算和存储。计算 = 生产者请求,消费者请求,管理请求,Broker系统服务(比如索引构建服务,消息过期服务)存储 = 消息存储,索引存储在5.0.0时, Broker支持主从切换,Broker的角色包含:master,slave,learner。若设置asyncLearner=true,则Broker为learner,只同步数据, 不参与选举master |
Broker -> Namesrv | Broker定期把Broker信息+当前Broker中的Topic信息上报Namesrv |
Remoting生产者 | 生产消息 |
Remoting生产者<-> Namesrv | 生产者从Namesrv获取Topic路由信息, 包含Broker IP |
Remoting生产者<-> Broker | 产者通过Topic路由信息,把消息直接发送给Broker生产者定期和Broker心跳,上报当前生产者实例信息 |
Remoting消费者 | 消费消息 |
Remoting消费者<-> Namesrv | 消费者从Namesrv获取Topic路由信息, 包含Broker IP |
Remoting消费者 <-> Broker | 消费者通过Topic路由信息,从指定Broker中拉取消息消费消费者定期和Broker心跳,上报当前消费者实例信息 |
5.0.0新增模块Controller(控制器) | 和Kafka Controller类似,在RocketMQ中负责Broker Master的选举和通知Broker |
5.0.0新增模块Broker <-> Controller | Broker定期把Broker信息上报ControllerBroker同步副本状态Controller选举新的Broker Master后,通知全部Broker |
5.0.0新增模块Proxy | 无状态服务,新客户端通过Grpc接口访问Proxy进行收发消息。社区已支持Remoting协议。Proxy中支持嵌入Broker。若设置proxyMode=LOCAL,则会在Proxy进程中启动一个Broker实例 |
5.0.0新增模块Proxy <-> Broker | Proxy通过Remoting协议和Broker通信,可以把Proxy当作一个Remoting的Client |
5.0.0新增模块新 Client | 新客户端,支持生产、消费、管理功能。目前支持Grpc协议 |
5.0.0新增模块新Client <-> Proxy | 新客户端访问Proxy进行收发消息,管理 |
1、生产者通过Topic路由信息,把消息直接发送给Broker。
2、生产者定期和Broker心跳,上报当前生产者实例信息。
Remoting消费者消费消息Remoting消费者<-> Namesrv
1、消费者从Namesrv获取Topic路由信息, 包含Broker IPRemoting消费者 <-> Broker 。
- 消费者通过Topic路由信息,从指定Broker中拉取消息消费。
- 消费者定期和Broker心跳,上报当前消费者实例信息。
5.0.0新增模块
Controller(控制器)和Kafka Controller类似,在RocketMQ中负责Broker Master的选举和通知Broker 。
5.0.0新增模块
Broker <-> Controller
- Broker定期把Broker信息上报Controller
- Broker同步副本状态
- Controller选举新的Broker Master后,通知全部Broker
5.0.0新增模块
Proxy无状态服务,新客户端通过Grpc接口访问Proxy进行收发消息。
社区正在讨论支持Remoting协议。
Proxy中支持嵌入Broker。
若设置proxyMode=LOCAL,则会在Proxy进程中启动一个Broker实例。
5.0.0新增模块
Proxy <-> BrokerProxy
通过Remoting协议和Broker通信,可以把Proxy当作一个Remoting的Client。
5.0.0新增模块
新Client新客户端,支持生产、消费、管理功能。目前支持Grpc协议
5.0.0新增模块
新Client <-> Proxy新客户端访问Proxy进行收发消息,管理。
**粗体** _斜体_ [链接](http://example.com) `代码` - 列表 > 引用
。你还可以使用@
来通知其他用户。