亚马逊S3推出高性能存储类别

AWS发布S3 Express One Zone存储类

在最近的re:Invent大会上,AWS宣布了S3 Express One Zone的全面可用性,这是一种高性能、单可用区(AZ)的存储类,提供个位数毫秒级的数据访问。该存储类旨在降低请求成本,特别适用于AI/ML训练和金融建模等数据处理场景。

S3 Express One Zone的主要特点

  1. 高性能:支持每分钟处理数百万次请求,使用现有的API,但需要新的存储桶类型、新的认证模型和新的命名约定。
  2. 分层命名空间:采用类似目录的方式存储对象键名,目录存储桶名称在区域内唯一。
  3. 适用小对象:虽然可以处理任何大小的对象,但对小对象尤其适用,因为小对象的首字节时间和末字节时间非常接近,存储延迟对读取对象的总时间影响较小。

适用场景

AWS建议的适用场景包括:

  • 机器学习和人工智能训练
  • 交互式数据分析
  • 高性能计算(HPC)
  • 金融建模
  • 实时广告
  • 媒体内容工作负载

数据基础设施的影响

Mural的首席工程师Ananth Packkildurai提到,S3 Express将打开无服务器数据架构,从主流数据处理行业中分离存储和计算。预计将出现一些新兴模式,如直接流式摄入到S3 Express、将S3 Express复制到S3 Standard以实现容错,以及在S3 Express上进行流处理。

存储和计算资源共置

对象存储在客户选择的单个可用区内,并允许存储和计算资源共置,进一步降低延迟。尽管存储成本显著高于S3 Standard,但Packkildurai认为,S3 Express显著降低了总体拥有成本(TCO),其8倍的成本比操作多个分布式和有状态系统以实现相同的数据处理能力更可接受。

技术专家的观点

Confluent的技术专家Jack Vanlightly表示,S3 Express One Zone并未满足他的期望,因为它不符合“廉价”的要求,因此复制的、容错的缓存实现仍然具有相关性和高价值。

相关公告

在re:Invent大会上,AWS还宣布了Mountpoint for Amazon S3和EMR对S3 Express One Zone存储类的支持。

可用性和定价

S3 Express One Zone设计为提供99.95%的可用性,SLA为99.9%,起价为0.16美元/GB/月。目前该存储类仅在弗吉尼亚北部、俄勒冈、东京和斯德哥尔摩区域可用。

阅读 42
0 条评论