Apache Pulsar 3.0 发布总结

Apache 软件基金会发布了 Apache Pulsar 3.0 版本，这是一个分布式消息和流处理平台。Pulsar 3.0 引入了长期支持（LTS）版本，新版本发布周期下，Pulsar 社区将提供 24 个月的维护修复和额外 12 个月的安全漏洞补丁。计划每 18 个月发布一个新的 LTS 版本，旨在为需要稳定性和更长维护周期的客户提供服务。功能版本计划在两次 LTS 发布之间实施。

Apache Pulsar 是一个高性能、多租户的消息和流处理平台，支持多集群、低延迟、无缝扩展、通过 Apache BookKeeper 提供的持久消息存储保证消息传递，以及用于数据处理和连接的无服务器连接器框架。

主要改进

新的负载管理器实现

Pulsar 3.0 引入了新的负载管理器实现，解决了之前版本在集群扩展到数千个代理和数百万个主题时的可扩展性问题。新的负载管理器通过将代理和捆绑的负载数据存储在非持久性主题中，减少了延迟和对 Apache ZooKeeper 的依赖，从而更均匀地平衡集群利用率。

延迟消息支持

Pulsar 3.0 改进了延迟消息的支持，新的机制支持延迟消息索引快照，最小化重建索引的成本，并减少维护延迟消息索引的内存使用。这一改进使得处理大量延迟消息更加高效，提升了整体性能。

多架构 Docker 镜像支持

Pulsar 3.0 引入了对多架构 Docker 镜像的支持，现在发布的 Docker 镜像支持 Intel x86-64 和 Arm64 架构。

BookKeeper 直接 IO 逻辑优化

Pulsar 3.0 对 BookKeeper 的直接 IO 逻辑进行了优化，新的实现绕过了操作系统页缓存，减少了内存消耗并提高了缓存利用率。

事务缓冲区分段快照优化

Pulsar 3.0 引入了事务缓冲区的分段快照优化，新的分段快照方法将快照分成多个部分，每个部分包含固定数量的中止事务和一个 maxReadPosition 标识。这一优化提高了事务缓冲区恢复速度，减少了与大型快照相关的资源成本，并解决了写放大问题。

蓝绿集群部署支持

Pulsar 3.0 引入了蓝绿集群部署支持，这是一种广泛使用的将实时流量从一个集群迁移到另一个集群的方法。

总结

Apache Pulsar 3.0 在负载均衡、延迟消息支持、Docker 镜像可用性、BookKeeper IO 逻辑优化、事务缓冲区分段和蓝绿集群部署方面带来了显著改进。这些增强功能提升了 Pulsar 消息系统的性能、可扩展性和可用性，使其更加高效和灵活。