主要观点:2025 年 3 月 17 日,谷歌云在云存储中引入分层命名空间(HNS)功能,旨在优化 AI 和机器学习工作负载,通过改善数据组织、性能和可靠性来实现。
关键信息:
- AI/ML 工作在模型训练时频繁进行检查点(checkpointing)以保存模型状态,传统扁平命名空间存储系统处理文件夹重命名耗时且易出错,HNS 支持原子级文件夹级操作,加快且更可靠的检查点写入,谷歌基准测试表明 HNS 桶可将检查点写入速度提高 20 倍,通过新的 RenameFolder API 执行元数据操作节省时间。
- 实际应用中,如 AssemblyAI 使用 HNS 与 Cloud Storage FUSE 时吞吐量提高 10 倍,训练速度提高 15 倍。
- HNS 通过提供优化的存储布局提高性能,支持每秒更高的读写查询(QPS),对大型集群上的 AI/ML 工作负载有益,HNS 桶的初始对象读写 QPS 比扁平命名空间桶高 8 倍,便于更快启动和更好利用计算资源。
- 谷歌工程高级总监 Jason Stevens 表示 HNS 加速依赖文件系统语义的存储工作负载,提高 AI 工作负载效率,有 20 倍更快的检查点和 8 倍更高的 QPS 帮助最大化 AI/ML 管道的 GPU 和 TPU 利用率。
重要细节:要在谷歌云存储中启用 HNS 功能,必须在创建桶时进行配置,不能对现有桶回溯启用,可使用 gcloud CLI 运行 gcloud storage buckets create 命令并加上 -enable-hierarchical-namespace 标志及指定桶名和位置,或在谷歌云控制台的云存储部分创建桶时,在高级设置中勾选启用分层命名空间选项,启用后桶通过支持类似文件系统的文件夹、原子重命名和提高读写操作吞吐量来优化用于 AI 和机器学习用例。
**粗体** _斜体_ [链接](http://example.com) `代码` - 列表 > 引用
。你还可以使用@
来通知其他用户。