Google Cloud 推出云存储分层命名空间预览版

Google Cloud 引入分层命名空间(HNS)更新 Cloud Storage 服务

Google Cloud 宣布对其云存储服务(Cloud Storage)进行重要更新,引入分层命名空间(Hierarchical Namespace, HNS)。该功能目前处于预览阶段,允许用户在存储桶中以分层文件系统结构组织数据,从而提升性能、一致性和可管理性。

分层命名空间的优势

分层命名空间使用户能够在存储桶中创建目录和嵌套子目录,从而更有效地组织数据。这种逻辑结构模仿了传统的文件系统,使用户更容易管理和访问数据。分层组织简化了数据管理,特别是在需要大量目录和文件操作的工作负载中,显著提升了性能。

功能细节

  • 文件夹重命名操作:HNS 支持的存储桶中,文件夹资源由 API 支持,新的“重命名文件夹”操作以元数据方式递归重命名文件夹及其内容,确保操作快速且原子化,提升了文件夹相关操作的性能和一致性。
  • 性能提升:初始的读写操作 QPS(每秒查询率)提升了 8 倍。
  • 权限管理:支持文件夹级别的权限管理。

应用场景

HNS 特别适用于需要高性能和可管理性的场景,如大数据分析、内容管理系统和大规模应用部署。例如,媒体公司可以使用 HNS 按项目、日期或类型组织视频文件,提高访问和处理效率。

启用方式

用户可以通过 Google Cloud 控制台、命令行界面或 API 启用 HNS,灵活管理存储资源。用户可以创建新的支持 HNS 的存储桶,或将现有存储桶迁移到分层命名空间。

优缺点

优点

  • 重命名文件夹时无需移动或重写文件。
  • 新增用于操作文件夹的 API。
  • 读写操作的初始 QPS 提升 8 倍。
  • 支持文件夹权限管理。

缺点

  • 必须在创建存储桶时启用。
  • 不支持版本控制、锁、保留或文件级 ACL。
  • 该功能需要额外收费(价格未公布)。

与其他云服务商的对比

其他超大规模云服务商如 Microsoft 和 AWS 也在其存储服务中提供类似的分层命名空间功能:

  • Azure Data Lake Storage Gen2:HNS 将对象/文件组织成目录和嵌套子目录的层次结构。
  • Amazon S3:目录桶(Directory Buckets)将数据分层组织成目录,而不是通用存储桶的扁平结构。

总结

Google Cloud 的分层命名空间功能通过引入类似传统文件系统的层级结构,提升了云存储的性能和可管理性,特别适用于大规模数据处理和复杂文件管理场景。尽管存在一些限制,但其优势在特定应用场景中非常显著。

阅读 28
0 条评论