AWS 发布 Amazon MSK Replicator，支持跨区域和同区域数据复制

AWS 近日推出了 Amazon MSK Replicator，这是 Amazon Managed Streaming for Apache Kafka (MSK) 服务的一项新功能，支持跨区域和同区域的流数据复制。该功能通过自动异步复制功能，提升了数据的可用性，并确保业务的连续性。

主要功能与架构

MSK Replicator 允许用户设置 主动-被动 或 主动-主动 的集群拓扑结构：

• 主动-主动：两个 MSK 集群同时处理读取和写入操作。
• 主动-被动：一个 MSK 集群处理流数据，另一个集群处于待命状态。

该功能支持跨区域和同区域的集群间复制，能够自动扩展以处理工作负载，并且适用于 预配置 和 无服务器 MSK 集群。

应用场景

AWS 首席技术推广官 Danilo Poccia 解释了 MSK Replicator 的主要应用场景：

1. 业务连续性与灾难恢复：跨集群复制常用于实现业务连续性和灾难恢复计划，提升跨 AWS 区域的应用弹性。
2. 多区域应用：在多区域应用中，将流数据复制到多个地理位置，以降低访问延迟。
3. 数据聚合：将来自多个集群的数据集中到一个集群中进行分析。

此外，MSK Replicator 还支持数据分发，允许不同团队和合作伙伴拥有自己的数据副本。服务不仅复制数据，还复制 Kafka 元数据（包括主题配置）、访问控制列表（ACLs）和消费者组偏移量。

消费者组复制与注意事项

Poccia 强调，消费者组复制允许用户指定是否复制消费者组偏移量，以便在切换后，消费应用程序可以从主集群中离开的位置继续处理。用户可以通过正则表达式指定要复制或排除复制的消费者组名称。

由于 MSK Replicator 作为源集群的消费者，可能会导致其他消费者在源集群上受到限制。AWS 建议为目标集群和源集群配置相同的容量，并在计算容量时考虑复制吞吐量。

其他信息

尽管 Amazon MSK 与 Apache Kafka 兼容，但 AWS 还提供了其他流数据处理选项，如 Kinesis Data Streams。

目前，MSK Replicator 在部分 AWS 区域可用，包括俄亥俄州、北弗吉尼亚和爱尔兰。用户部署复制器时，需支付源和目标 MSK 集群的标准费用、跨区域数据传输费用，以及每 GB 复制数据 0.08 美元的费用和每小时 0.30 美元起的复制器配置费用。