在最近的 Microsoft Ignite 会议上,微软宣布了 Azure Container Apps 与 NVIDIA 驱动的无服务器 GPU 的公开预览。这一功能允许客户在无服务器环境中使用 NVIDIA A100 和 NVIDIA T4 GPU,为实时自定义模型推理和其他机器学习任务提供扩展性和灵活性。
Azure Container Apps 是一个完全托管的无服务器容器服务,允许开发者部署、运行和扩展容器化应用程序,而无需管理基础设施。通过无服务器 GPU,他们可以运行 GPU 驱动的应用程序,而无需管理底层基础设施,并受益于按需扩展的能力;资源可以根据需求动态扩展,减少闲置成本。此外,他们还可以从按秒计费的 GPU 使用中受益,数据治理将信息保持在容器边界内,提供 NVIDIA A100 和 T4 GPU 的灵活选项,以及部署自己 AI 模型的托管无服务器平台。
据公司称,Azure 的无服务器 GPU 在实时 AI 推理、机器学习模型部署和高性能计算任务等用例中表现出色。该平台确保与现有 Azure 工作流程的平滑集成。
在 Azure Functions Flex Consumption 和 GPU 的 Ignite 会议上,微软 Azure Container Apps 的首席产品经理 Simon Jakesch 表示:
任何使用过无服务器或与 Azure Container Apps 结合使用的人都发现它非常强大。这项技术为 GPU 使用带来了同样的力量,使 GPU 变得易于访问。
微软并不是唯一提供 GPU 功能以加速实时 AI 推理和机器学习模型部署工作负载的供应商。其他供应商包括 Modal、RunPod、Replicate、Baseten、Koyeb 和 Fal。此外,Google Cloud Run 支持 NVIDIA L4 GPU 进行实时 AI 推理。
Inter Ikea 的核心基础设施平台负责人 Lars Wurm 在 LinkedIn 上发帖:
随着 Azure Container Apps 引入无服务器 GPU,启用了几种新的工作负载和使用场景,将其打造成容器工作负载的一站式服务。这在工作负载不依赖于承诺的 ACA 实例时尤其有益。
在 NVIDIA 公司的博客文章中,Dave Salvator 写道:
无服务器 GPU 允许开发团队更多地专注于创新,而不是基础设施管理。通过按秒计费和按需扩展能力,客户只需为他们使用的计算付费,确保资源利用既经济又高效。NVIDIA 还与微软合作,将 NVIDIA NIM 微服务引入 Azure 中的无服务器 NVIDIA GPU,以优化 AI 模型性能。
无服务器 GPU 在公开预览阶段仅在部分 Azure 区域提供。更多信息可直接在 Azure 平台的文档、教程和定价详情中找到。
**粗体** _斜体_ [链接](http://example.com) `代码` - 列表 > 引用
。你还可以使用@
来通知其他用户。