Amazon S3 挂载点现已正式发布,可像本地文件系统一样访问存储桶

AWS Storage Day 2023发布Mountpoint for Amazon S3正式版

在最近的AWS Storage Day活动中,亚马逊宣布Mountpoint for Amazon S3正式上线。这款新的开源文件客户端通过文件接口提供Amazon S3的弹性存储和吞吐量,支持每个EC2实例与对象存储之间的数据传输速度高达100 Gb/秒。

设计目标与适用场景

Mountpoint for Amazon S3专为数据湖应用等工作负载设计,支持顺序写入、顺序和随机读取,并且不需要完整的POSIX语义。AWS副总裁兼首席布道师Jeff Barr表示,许多客户希望有一个官方且企业级的客户端,能够以高性能的方式大规模访问S3。

主要用例

  • 机器学习训练
  • 图像渲染
  • 自动驾驶汽车模拟
  • ETL(数据提取、转换和加载)

性能与成本优势

Mountpoint支持每个EC2实例与S3存储桶之间的数据传输速度高达100 Gb/秒,将本地文件系统API调用转换为S3对象API调用,相比托管网络文件系统(NFS)降低了成本。

与现有解决方案的比较

在Reddit和LinkedIn上,用户将Mountpoint与现有的开源s3fs和商业产品ObjectiveFS进行了比较。AWS高级解决方案架构师Jukka Forsgren强调,Mountpoint的设计目标之一是提高稳定性,解决了以往S3挂载在EC2 Linux实例上卡住的问题。

限制与不支持的功能

  • 不支持修改现有文件或删除目录
  • 不支持符号链接或文件锁定
  • 无法读取大于5 TB的文件
  • 不支持的S3存储类别包括Glacier Flexible Retrieval、Glacier Deep Archive、Intelligent-Tiering Archive Access Tier和Intelligent-Tiering Deep Archive Access Tier

收费与可用性

使用Mountpoint无需额外费用,开发者只需支付底层的S3操作费用。Mountpoint以RPM格式提供,其路线图可在GitHub上查看。

通过Mountpoint for Amazon S3,AWS为客户提供了一个高性能、稳定的文件访问解决方案,适用于多种数据密集型工作负载。

阅读 24
0 条评论