AWS 发布新一代 G5 实例，搭载 NVIDIA A10G Tensor Core GPU

AWS 近日宣布推出新一代 G5 实例，这些实例最多配备八块 NVIDIA A10G Tensor Core GPU，并由第二代 AMD EPYC 处理器提供支持。相较于两年前发布的 G4 实例（配备 NVIDIA T4 Tensor Core GPU），G5 实例在推理和图形密集型操作方面提供了高达 40% 的性价比提升。

性能提升

• ML 训练性能：A10G GPU 在机器学习训练性能上比 G4dn 实例中的 T4 GPU 高出 3.3 倍。
• ML 推理性能：A10G GPU 在机器学习推理性能上比 T4 GPU 高出最多 3 倍。
• 图形性能：A10G GPU 在图形性能上比 T4 GPU 高出最多 3 倍。

A10G GPU 技术规格

• 内存：每块 A10G GPU 配备 24 GB 内存。
• 核心：包含 80 个 RT（光线追踪）核心和 320 个第三代 NVIDIA Tensor Cores。
• 计算能力：可为 AI 工作负载提供高达 250 TOPS（每秒万亿次操作）的计算能力。

应用场景

G5 实例适用于以下场景：

• 图形应用：交互式视频渲染、视频编辑、计算机辅助设计、逼真模拟、3D 可视化和游戏。
• AI 推理：大规模实时 AI 推理，如内容和产品推荐、语音助手、聊天机器人和视觉搜索。
• 容器服务：可在 Amazon Elastic Container Service (ECS) 和 Amazon Elastic Kubernetes Service (EKS) 集群中启动 G5 实例。

与其他云服务提供商的比较

• Azure：提供 N-Series GPU 虚拟机，配备 NVIDIA Tesla 加速平台和 NVIDIA GRID 2.0 技术。
• Google Cloud：提供基于 NVIDIA Ampere A100 Tensor Core GPU 的虚拟机。

可用性与兼容性

• 区域：目前 G5 实例在美国东部（北弗吉尼亚）、美国西部（俄勒冈）和欧洲（爱尔兰）区域可用。
• 购买方式：支持按需、Spot、Savings Plan 和预留实例形式购买。
• 操作系统：支持 Linux 和 Windows。
• 库兼容性：兼容多种图形和机器学习库，包括 CUDA、CuDNN、CuBLAS、NVENC、TensorRT、OpenCL、DirectX、Vulkan 和 OpenGL。

社区评论

在 Hacker News 的讨论中，有用户指出 A10G GPU 是削减版和降频的 RTX A6000，预计其性能与 NVIDIA V100 Tesla GPU 相当或略低。

总结

AWS 的 G5 实例通过搭载 NVIDIA A10G Tensor Core GPU 和第二代 AMD EPYC 处理器，显著提升了机器学习训练、推理和图形处理的性能，适用于广泛的图形和 AI 应用场景。与其他云服务提供商相比，AWS 在 GPU 实例方面提供了更具竞争力的性价比和灵活性。