全新的 Amazon S3 Express One Zone 存储类旨在提供比 S3 标准存储类高 10 倍的性能,并支持每秒处理数十万个请求,其个位数毫秒延迟也惊人的一致;这款产品非常适合频繁访问的数据和要求苛刻的应用程序。对于单个亚马逊云科技可用区,其中专门构建的硬件支持存储和复制对象;允许您共同定位存储和计算( Amazon EC2 、 Amazon ECS 和 Amazon EKS )资源,以进一步减少延迟。

亚马逊云科技开发者社区为开发者们提供全球的开发技术资源。这里有技术文档、开发案例、技术专栏、培训视频、活动与竞赛等。帮助中国开发者对接世界最前沿技术,观点,和项目,并将中国优秀开发者或技术推荐给全球云社区。如果你还没有关注/收藏,看到这里请一定不要匆匆划过,点这里让它成为你的技术宝库!

Amazon S3 Express One Zone

在计算与存储方面,Amazon S3 Express One Zone 存储类的延迟非常低,这有助于显著缩短数据密集型应用程序的运行时间,特别是使用数百或数千个并行计算节点处理大量数据,从而进行人工智能/机器学习训练、财务建模、媒体处理、实时广告投放、高性能计算等。通常,这些应用程序保留数据的时间相对较短,但数据会在该时段频繁访问。

新存储类处理对象的大小不限,但对较小的对象格外有用。这是因为对于较小的对象,首个字节的时间与最后一个字节的时间非常接近。在所有存储系统中,大型对象的流式传输时间更长;由于传输过程需要下载大量数据,因此存储延迟对读取对象的总时间影响不大。因此,在较低的存储延迟方面,与大型对象相比,较小的对象收到的益处颇丰。由于 S3 Express One Zone 始终保持极低的延迟,因此与 S3 标准版相比,读取小型对象的速度增幅可达 10 倍。

Amazon S3 Express One Zone 的延迟极低,请求成本又比 S3 标准版存储类低 50%,这表示 Spot按需计算资源的使用效率更高,最终实现全面降本。

对于选择的单个可用区,其中包含每个 Amazon S3 Express One Zone 目录存储桶中,支持使用一组常用 S3 API 函数进行访问: CreateBucketPutObjectGetPorjectListObjectsV2 等。此类存储桶也支持一组认真选择的 S3 功能,其中包含字节范围提取多部分上传多部分复制预签名 URL,以及适用于 S3 的 Access Analyzer。对象可直接上传,编写使用 CopyObject 的代码,或使用 S3批处理操作

要以高效和可扩展方式减少延迟及利用此存储类,我们引入了一种新存储桶类型、新身份验证模型和存储桶命名约定:

新存储桶类型 — 新目录存储桶特定于该存储类,支持每秒数十万次请求。命名空间分层,并通过类似目录的方式存储对象键名称。路径分隔符必须是“/”;对于为 ListObjectsV2 提供的任何前缀,必须以分隔符结尾。此外,在不先对结果排序的情况下,列表操作会返回结果,因此无法执行“开始后”检索。

新身份验证模型 — 新 CreateSession 函数会返回会话令牌,这将为特定存储桶授予 5 分钟访问权限。对于存储桶或存储桶内部对象执行操作的其他 S3 API 函数,为它们发出的请求必须包含此令牌,但 CopyObject 除外,原因是需要 IAM 凭据。亚马逊云科技 SDK 的最新版本会自动创建会话。

存储桶命名 — 在亚马逊云科技区域中,目录存储桶名称必须具有唯一性,且必须按照特殊格式的后缀指定可用区 ID。若基础存储桶名称是 jbarr,且该存储桶位于可用区 use1-az5(美国东部(弗吉尼亚北部)区域的可用区 5),CreateBucket 应命名为 jbarr--use1-az5--x-s3。虽然存储桶位于特定可用区,但也可从该区域的其他可用区进行访问;对于从一个可用区的计算资源到相同区域内部另一个可用区的目录存储桶的请求,此类行为不收取任何数据传输费用。

Amazon S3 Express One Zone 实际运行情况

重点介绍要使用的新存储类。命令行是需要重点介绍的内容,但也会涉及亚马逊云科技管理控制台和 API 访问。

EC2 实例在 us-east-1f 可用区运行。使用 jq ,将此值映射到可用区 ID:

$ aws ec2 describe-availability-zones --output json | \
  jq -r  '.AvailabilityZones[] | select(.ZoneName == "us-east-1f") | .ZoneId'
use1-az5

存储桶配置 (s3express-bucket-config.json) 已创建,并包含 ID:

{
        "Location" :
        {
                "Type" : "AvailabilityZone",
                "Name" : "use1-az5"
        },
        "Bucket":
        {
                "DataRedundancy" : "SingleAvailabilityZone",
                "Type"           : "Directory"
        }
}

在安装亚马逊云科技命令行界面(Amazon CLI) 的最新版本后,也将创建目录存储桶:

$ aws s3api create-bucket --bucket jbarr--use1-az5--x-s3 \
  --create-bucket-configuration file://s3express-bucket-config.json \
  --region us-east-1
-------------------------------------------------------------------------------------------
|                        CreateBucket                          |
+----------+------------------------------------------------------------------------------+
|  Location|  https://jbarr--use1-az5--x-s3.s3express-use1-az5.us-east-1.amazonaws.com/   |
+----------+------------------------------------------------------------------------------+

然后,目录存储桶如常用作其他 CLI 命令的目标(第二个 aws 是解压亚马逊云科技 CLI 的目录):

$ aws s3 sync aws s3://jbarr--use1-az5--x-s3

在列出目录存储桶的内容时,StorageClass 将变为 EXPRESS_ONEZONE:

$ aws s3api list-objects-v2 --bucket jbarr--use1-az5--x-s3 --output json | \
  jq -r '.Contents[] | {Key: .Key, StorageClass: .StorageClass}'
...
{
  "Key": "install",
  "StorageClass": "EXPRESS_ONEZONE"
}
...

在单独的选项卡中,适用于 S3 的管理控制台会显示通用存储桶和目录存储桶:

image.png

如上所示,单击“导入”按钮,将现有存储桶的内容(或内容的前缀子集)导入目录存储桶。选择源存储桶,单击“导入”,然后输入参数;这些参数将用于生成源存储桶的库存,并创建 S3 批处理操作作业。

image.png

作业已创建,并开始执行:

image.png

须知

以下是一些关于该 S3 存储类的重要信息:

区域 — 美国东部(弗吉尼亚北部)、美国西部(俄勒冈州)、亚太地区(东京)和欧洲(斯德哥尔摩)区域现已支持 Amazon S3 Express One Zone,并计划随时间推移拓展到其他区域。

其他亚马逊云科技服务 — 可同时使用 Amazon S3 Express One Zone 与其他亚马逊云科技服务(含 Amazon SageMaker 模型训练Amazon AthenaAmazon EMR Amazon Glue 数据类别),从而加速机器学习和分析工作负载。此外,也可使用适用于 Amazon S3 的 Mountpoint,并以面向文件的方式对 S3 对象进行处理。

定价— 与其他 S3 存储类相同,定价采用“即用即付”模式。在美国东部(弗吉尼亚北部)区域,费用为 0.16 美元/GB/月,每个对象的最小计费时间为 1 小时;部分请求类型需要另行付费。对于任何请求,其中超过 512 KB 的部分,需按每 GB 费用另行付费。有关更多信息,请访问 Amazon S3 定价页面。

持久性 — 在极个别情况下,如果全部或部分亚马逊云科技可用区丢失或损坏,One Zone 存储类的数据也会丢失。例如,火灾和水灾等事件会使数据丢失。除了这些类型的事件外,One Zone 存储类也会使用与区域存储类相似的工程设计,避免对象受到独立磁盘、主机和机架级别故障的影响;每个存储类旨在提供 99.999999999% 的数据持久性。

SLA — Amazon S3 Express One Zone 旨在提供 99.95% 的可用性,其可用性 SLA 高达 99.9%;有关更多信息,请访问 Amazon S3 服务级别协议页面。

这款全新的存储类产品现已推出,立即体验吧!

了解更多

Amazon S3 Express One Zone

文章来源:https://dev.amazoncloud.cn/column/article/65703ff11fc09c50f98...


亚马逊云开发者
2.9k 声望9.6k 粉丝

亚马逊云开发者社区是面向开发者交流与互动的平台。在这里,你可以分享和获取有关云计算、人工智能、IoT、区块链等相关技术和前沿知识,也可以与同行或爱好者们交流探讨,共同成长。


引用和评论

0 条评论