主要观点:Azure 通过 Azure Container Apps 内的无服务器 GPU 实现 GPU 计算产品的扩展,为 AI 工作负载提供按需执行环境,简化 GPU 加速任务的部署和管理,在完全托管的 AI 服务和自管理 GPU VM 之间提供更灵活选择,且引入了 NVIDIA NIM 微服务支持。
关键信息:
- 由 NVIDIA A100 和 T4 GPU 提供动力,支持 NVIDIA NIM 微服务,可自动扩展资源和按活跃计算时间计费。
- 支持多种 AI 模型,可与现有应用一起构建和部署生成式 AI 应用。
- 提供多种 GPU 选项,如 NVIDIA T4 用于实时和批处理推理,NVIDIA A100 用于计算密集型场景。
- 引入默认 GPU 配额,目前在特定区域支持,用户可在 Azure 门户配置容器使用 GPU 资源。
重要细节: - 通过 NVIDIA API 目录选择“Run Anywhere”NIM,部署 Azure Container Apps 时需设置 NGC_API_KEY 环境变量,各 NIM 模型有特定硬件要求,Azure Container Apps 无服务器 GPU 支持 NVIDIA A100 和 T4 GPU。
- 无服务器 GPU 的关键好处包括自动缩放到零的 GPU、按秒计费、内置数据治理、灵活的计算选项和作为 AI 开发的中间层。
- 在 Azure 门户创建容器应用时可配置使用 GPU 资源,现有容器应用环境可通过门户或 CLI 命令添加消费 GPU 工作负载配置文件,建议使用启用了工件流的 Azure Container Registry 以获得最佳性能,获取更多详情可参考QuickStart。
**粗体** _斜体_ [链接](http://example.com) `代码` - 列表 > 引用
。你还可以使用@
来通知其他用户。