技术探究：Apache Pulsar 的事务型事件流

关于 Apache Pulsar
Apache Pulsar 是 Apache 软件基金会顶级项目，是下一代云原生分布式消息流平台，集消息、存储、轻量化函数式计算为一体，采用计算与存储分离架构设计，支持多租户、持久化存储、多机房跨区域数据复制，具有强一致性、高吞吐、低延时及高可扩展性等流数据存储特性。
GitHub 地址：http://github.com/apache/pulsar/

导语：本文是 StreamNative 开发工程师、Apache Pulsar Committer 丛搏在 Pulsar Summit Asia 2020 大会上的演讲《技术探究：Apache Pulsar 的事务型事件流》文字整理版本，本演讲主要对 Apache Pulsar 事务原理及规划进行了分享，请大家参考。

我叫丛搏，是来自 StreamNative 的开发工程师。今天我所带来的主题是《技术探究：Apache Pulsar 的事务型事件流》。

消息语义

大家都知道在所有的消息系统流数据平台对于消息都有不同的语义。一般语义分为三种：At-most once、At-least once、Exactly once。

At-most once：至多一次，不关心消息是否发送成功、不需要消息发送的返回值。
At-least once：至少一次，允许消息重复但必须保证消息必达。
Exactly once：精准一次，保证消息不丢且不会重复。

At Most Once（最多一次）

Pulsar 在 1.2.0 版本之前，已经实现 At Most Once 语义。

At Least Once（至少一次）

Pulsar 在设计之初就遵循 At Least Once 语义。发送消息失败后重试是保证 At Least Once 语义的基本方式。发送重试会导致消息重复，在某些使用场景下要求 Producer 不能发送重复消息且 Consumer 不能重复消费，因此产生了 Exactly Once 语义。

Exactly Once（精确一次）

实现 Exactly once 需要实现对消费/生产的去重。

Pulsar 中如何去重？

Producer: 幂等性 Producer；
Broker: 保证消息重复数据删除 ( PIP-6 )；
Consumer: Reader + Checkpoints (Flink / Spark)。

如何开启 Exactly once？

对 topic 的 name space 进行 set-deduplication 的设置。通过 admin 等等的一些操作：

bin/pulsar-admin set-deduplication -e tenant/namespace；
创建 Producer 时设置 Producer name、Sequence id；
产生消息时指定递增的序列 id。

限制：

仅在向一个分区生成消息时有效；
仅适用于产生一条消息；
在一个分区或多个分区上生成多个消息时没有原子性；
Consumer 需要存储 message id 及其状态，并在还原状态时查找 message id。

Transaction 如何处理事件

通过转账的逻辑操作的例子来讲述流消息系统中 Transaction 是怎样处理事件的：

现在有 Alice 和 Bob 两个人。Alice 会给 Bob 转账十块钱。通过 Pulsar 如何来实现这个功能呢？

Transfer Topic : 记录转账的请求；
Cash Transfer Function: 处理转账的行为；
BalanceUpdate Topic: 记录余额更新请求。

Alice 转给 Bob。Transfer Function 收到这条转账消息，会向 BalanceUpdate Topic 发送一条 Bob 余额增加十块钱的消息，向 BalanceUpdate Topic 发送一条 Alice 余额减少十块钱的消息。接收到所有返回值后，Ack 这条转账消息。在所有的操作不会发生任何失败的时候它是没有问题的。但是往往事与愿违，它的所有操作都可能会发生问题。

图 1

如图 1 所示，Ack 失败后会重新再消费这条转账的消息，所带来的后果就是 Alice 再次给 Bob 转了十块钱，Alice 共给 Bob 转了二十块钱。倘若每次 Ack 都失败，有可能 Alice 的账户负债累累，Bob 成了亿万富翁。

图 2

如图 2 所示，Bob 增加余额的消息没有成功发送到所对应的 BalanceUpdate Topic 中，所带来的现象是 Bob 余额没有增加，Alice 的余额却减少了。

Pulsar Transaction

如何用 Pulsar 的 Transaction 来实现这件事情的？

Transaction 语义：

保证多分区原子性消息写入；
保证原子性确认多个订阅；
一个事务中进行的所有操作全部成功或全部失败；
允许 Consumers 读取已提交的消息。

没有 Transaction API 如何实现上述的例子？

Message<String> message = inputConsumer.receive();
 
CompletableFuture<MessageId> sendFuture1 =
producer1.newMessage().value(“output-message-1”).sendAsync();
CompletableFuture<MessageId> sendFuture2 =
producer2.newMessage().value(“output-message-2”).sendAsync();
 
inputConsumer.acknowledgeAsync(message.getMessageId());

如图 3 所示：

图 3

从 Input Consumer 中接收到消息之后，Producer1 会发送消息到 topic1 中，Producer2 会发送一条消息到 topic2，然后 Ack 接收到的消息。

Pulsar 的 Transaction API 其实很简单，对于原有需实现的逻辑没有太大的改变:

Message<String> message = inputConsumer.receive();
Transaction txn = client.newTransaction().withTransactionTimeout(…).build().get();
 
CompletableFuture<MessageId> sendFuture1 =
producer1.newMessage(txn).value(“output-message-1”).sendAsync();
CompletableFuture<MessageId> sendFuture2 =
producer2.newMessage(txn).value(“output-message-2”).sendAsync();
inputConsumer.acknowledgeAsync(message.getMessageId(), txn);
 
txn.commit().get();
 
MessageId msgId1 = sendFuture1.get();
MessageId msgId2 = sendFuture2.get();
 
inputConsumer.acknowledgeAsync(message.getMessageId(), txn);
 
txn.commit().get();

Pulsar Transaction 有如下三大组件：