Google 云存储传输服务新增事件驱动传输功能

Google 近日宣布为其存储传输服务（Storage Transfer Service, STS）推出事件驱动传输功能的预览支持。该功能允许用户将数据从 AWS S3 迁移到 Google 云存储（Cloud Storage），并在多个 Cloud Storage 存储桶之间复制数据。

STS 服务概述

STS 是 Google 云平台的一项服务，支持用户在 Google 云、亚马逊、Azure、本地存储等不同存储解决方案之间快速安全地传输数据。新推出的事件驱动传输功能能够根据源位置的数据更新或新增事件，自动触发数据传输。目前，该功能支持从 AWS S3 或 Cloud Storage 到 Cloud Storage 的传输。

事件驱动传输的工作原理

事件驱动传输依赖于 Pubsub 和 SQS 服务。用户需要设置事件通知并授予 STS 访问相关队列的权限。通过在传输作业中新增的 “事件流（Event Stream）” 字段，用户可以指定事件流名称，并控制 STS 何时开始或停止监听该流的事件。

一旦传输作业创建完成，STS 便会开始消费源位置的对象变更通知。任何对象的上传或修改都会触发变更通知，STS 会实时将这些对象传输到目标位置。

事件驱动传输的优势

Google 云顾问 Aman Puri 在一篇博客中详细介绍了事件驱动传输的优势：

1. 实时更新：由于事件驱动传输监听源存储桶的变更，更新内容可以近乎实时地复制到目标位置，无需执行源存储桶的列表操作，从而节省时间和成本。

2. 适用场景：

   • 事件驱动分析：将数据从 AWS 复制到 Cloud Storage 进行分析和处理。
   • Cloud Storage 复制：实现 Cloud Storage 存储桶之间的自动异步对象复制。
   • 灾难恢复/高可用性设置：在几分钟内将对象从源复制到备份目标。
   • 实时迁移：事件驱动传输可以作为一次性批量迁移的后续步骤，实现低停机时间的迁移。

与 Azure 的对比

微软 Azure 提供了类似的功能，称为 Event Grid 服务，支持从存储容器到多种目的地的事件驱动数据传输。通过利用存储上的系统主题并订阅 blobCreated 事件，用户可以通过 Azure 函数将数据从存储容器复制到另一个存储容器、AWS S3 或 Google 云存储。

可用性与定价

目前，事件驱动传输功能已在多个 Google 云区域上线。STS 的定价详情可在其定价页面查看。

总结

Google 云存储传输服务的事件驱动传输功能通过监听源存储的变更事件，实现了近乎实时的数据传输，适用于多种场景，如数据分析、数据复制、灾难恢复和实时迁移。与 Azure 的 Event Grid 服务类似，Google 的 STS 提供了高效、自动化的数据传输解决方案。