AWS在Pi Day发布Mountpoint for Amazon S3

在最近的Pi Day，AWS宣布了Mountpoint for Amazon S3，这是一个开源文件客户端，旨在为Amazon S3提供高吞吐量访问。目前处于Alpha阶段，该客户端通过本地挂载点提供高单实例传输速率，主要面向数据湖应用。

功能与限制

Mountpoint for Amazon S3将本地文件系统API调用转换为S3对象API调用（如GET和LIST）。它支持文件和目录的随机和顺序读取操作，但在Alpha版本中不支持写入（PUT）操作，未来预计仅支持对新对象的顺序写入。

AWS学者James Bornholt、高级产品经理Devabrat Kumar和杰出工程师Andy Warfield指出，该客户端并非通用网络文件系统，存在一些文件操作和写入限制。Mountpoint专为大规模分析应用设计，这些应用并行读取和生成大量S3数据，但不需要对现有对象的中间部分进行写入。

与其他客户端的比较

Mountpoint for S3并不是第一个将S3呈现为文件系统的客户端，Goofys和s3fs是流行的开源选项，通过FUSE挂载S3桶。尽管一些开发者质疑是否需要新的客户端，并担心其可能被用于数据湖以外的场景，但AWS团队强调，Mountpoint旨在提供与S3 REST API和AWS SDK相同的稳定性、性能和技术支持。

技术实现与反馈

该客户端基于AWS SDK使用的Common Runtime (CRT)，采用Rust编写，并依赖自动化推理来验证文件系统语义。Corey Quinn和Ben Kehoe等专家对将S3视为文件系统提出了警告，认为这可能导致对API语义的误解。

发布与未来计划

Mountpoint在Apache License 2.0下发布，目前尚未准备好用于生产工作负载。初始的Alpha版本和公开的路线图可在GitHub上获取。

总结

Mountpoint for Amazon S3是一个面向数据湖应用的高性能开源文件客户端，目前处于Alpha阶段，支持高吞吐量读取操作，但暂不支持写入。虽然存在一些限制和争议，但AWS团队希望通过该客户端提供与S3 REST API和AWS SDK相同的稳定性和性能。