博文干货|5张图带你快速入门 Pulsar 的存储引擎 BookKeeper

ApachePulsar

以下文章来源于程序员jinjunzhu ,作者jinjunzhu
程序员jinjunzhu
程序员jinjunzhu
资深后端开发,擅长java/golang,关注后端开发、分布式、云原生领域

关于 Apache Pulsar

Apache Pulsar 是 Apache 软件基金会顶级项目,是下一代云原生分布式消息流平台,集消息、存储、轻量化函数式计算为一体,采用计算与存储分离架构设计,支持多租户、持久化存储、多机房跨区域数据复制,具有强一致性、高吞吐、低延时及高可扩展性等流数据存储特性。
GitHub 地址:http://github.com/apache/pulsar/

本文转自公众号:程序员 jinjunzhu,作者:jinjunzhu
本期排版:StreamNative@Tango
Apache BookKeeper 是一款企业级存储系统,最初由雅虎研究院研发,在 2011 年作为 Apache ZooKeeper 的子项目进行孵化,在 2015 年 1 月成为 Apache 顶级项目。

起初,BookKeeper 是一个预写日志(WAL)系统,经过几年的发展,BookKeeper 的功能更加完善,比如为 Hadoop 分布式文件系统(HDFS)的 NameNode 提供高可用和多副本,为消息系统比 Pulsar 提供存储服务,为多个数据中心提供跨机器复制。https://github.com/apache/pul...

使用场景

BookKeeper 最初的一个使用场景是为 HDFS 的 NameNode 保存 edit log,
如下图:

ZKFC 是一个 ZooKeeper 的客户端,主要用来监测和管理 NameNode 状态,每个 NameNode 机器上都会运行一个 ZKFC,它的职责主要有三个:
•健康检查
•ZooKeeper 会话管理
•选举,当集群中一个 Active NameNode 宕机,ZooKeeper 会自动选择一个节点作为新的 Active NameNode。
BookKeeper 记录 NameNode 的 edit log(edit log 存放文件系统的操作日志),NameNode 的所有修改都会记录到 BookKeeper。这样 active NameNode 宕机后,BookKeeper 用保存的 edit log 去 standby NameNode 做回放,之后切换成 active NameNode。

BookKeeper 具有如下特性:

•一致性:因为 edit log 保存的是 HDFS 的元数据,对一致性要求很高
•低延迟:为了不丢数据,需要低延迟
•高吞吐:为了支持更多的 NameNode 节点,需要高吞吐
节点对等

Bookie 中保存的数据结构如下图:

writer 写数据时,把 entry 并发写入多 个 bookie 节点的 Ledger。这类似于文件系统写数据时首先会打开一个文件,如果文件不存在,则会创建文件元数据。

Ledger 也就是 Pulsar 中的 segment。
writer 写数据时,首先会打开一个新 Ledger,函数如下:

openLedger(组内节点数目、数据备份数目、等待刷盘节点数目)
比如(5,3,2)代表组内共有 5 个 Bookie 节点,写数据时需要写入 3 个节点,有 2 个节点返回成功代表写入成功。

这样写入的这 3 个节点数据完全一样,关系是对等的,不存在主从关系。

数据读写

BookKeeper 数据读写如下图:


writer 以 roundrobin 的方式写入 bookie,比如在上图中,第一条数据写入 Bookie1、Bookie2 和 Bookie3,第二条数据写入 Bookie2、Bookie3、Bookie4,第三条数据写入 Bookie3、Bookie4、Bookie5,第四条数据写入 Bookie4、Bookie5 和 Bookie1。

在打开一个 Ledger 时,就传入了 bookie 数量,这样在写每个 entry 时,就用 entry 的 id 跟 bookie 数量取模,来确定写到哪几个 bookie 上。比如第 3 条消息跟 5 取模是 3,就写到 Bookie3、Bookie4 和 Bookie5。

这样以轮询的方式将 Ledger 数据写入各个 bookie 节点,每个 bookie 节点的数据是均衡的,每个 bookie 节点的磁盘带宽和网卡带宽都能得到充分利用。

读高可用

Reader 在读取数据时,可以读取多份数据中的任意一份数据。BookKeeper 会设置一个读超时时间,如果读取超时了,会给另外一个 bookie 节点(speculative read)发送读请求。

写高可用

如果某个 bookie 节点(比如 bookie5)发生故障不能写入了,BookKeeper 会做如下处理:

•记录出错的 entry id
•对故障节点的数据进行封装
•关闭当前的 Ledger,重新打开一个新的 Ledger,这个 Ledger 会重新选择 bookie 节点,1、2、3、4、6。
•如果 bookie5 恢复,就不再提供写服务了,只提供读服务。
•如果不能恢复,就把 bookie5 的数据,从其他节点的备份中恢复到新的节点上,这个过程需要根据 Ledger id 跟 5 取模来判断是否落到 bookie5 上,数据恢复过程并不影响 Reader,因为其他两份数据可以继续提供服务。
I/O 模型

BookKeeper 的 I/O 模型如下图,这个图是单个 bookie 的数据流转:


整个流程入下:

•Writer 写入的数据首先到达 Journal,Journal 将数据进行 group 后刷到到 Journal 盘,这个刷盘的数据顺序跟 writer 写入顺序一致。
Writer 写入 Journal Disk 是实时刷盘。
•Journal Disk 的数据会写入 memory table 进行数据整理,把同一个 topic 的数据整理到一起。
•把整理好的数据刷盘。Index Disk 保存 entry 的 index,对应 entry 在 Logger Disks 的 offset。

读写分离

读取数据时,首先从 Memory Cache 中读取数据,如果数据不存在,才会去 Index Disk 和 Logger Disk 读取数据。而写数据是实时落盘到 Journal Disk,这样实现了读写隔离。

强一致性

数据可以实时刷盘到 Journal Disk,保证了数据的强一致性。

灵活 SLA

对于写性能要求高的业务场景,可以单独加强 Journal 盘性能,而对于读性能要求高的场景,可以加强 Ledger Disk 和 Index Disk 的性能。

Pulsar 中的使用

Pulsar 的架构图如下:


每次 Producer 生成的消息实时落盘后,给 Producer 返回一个 ACK。

Consumer 消费消息后,还会修改 Cursor 中保存的 offset,并且也会记录到 BookKeeper。这样保证了 Cursor 的一致性。

阅读 255

ApachePulsar
Apache Pulsar 是 Apache 软件基金会顶级项目,是下一代云原生分布式消息流平台,集消息、存储、轻量化...

Apache软件基金会顶级项目,下一代云原生分布式消息系统

140 声望
360 粉丝
0 条评论

Apache软件基金会顶级项目,下一代云原生分布式消息系统

140 声望
360 粉丝
文章目录
宣传栏