Meta与AWS合作提升PyTorch在AWS上的性能

Meta与AWS宣布合作，旨在提升在AWS上运行PyTorch应用程序的客户性能，并加速开发者构建、训练、部署和操作人工智能（AI）及机器学习（ML）模型的过程。

PyTorch简介

PyTorch是一个开源的深度学习框架，便于开发者开发机器学习模型并将其部署到生产环境中。PyTorch提供了动态计算图和分布式训练库，这些库在AWS上经过优化，能够实现高性能。

PyTorch在AWS上的优势

PyTorch在AWS上设计用于利用Amazon EC2实例、Elastic Fabric Adapter以及其他存储、网络和基础设施技术。此外，PyTorch在AWS上提供了丰富的工具和模型生态系统，包括torchvision、torchaudio、torchtext、torchelastic、torch_xla等，并支持扩展PyTorch功能。

TorchServe的作用

TorchServe是PyTorch的模型服务库，易于开发者将模型准备好用于生产环境，同时也便于运维工程师在生产环境中部署容器。TorchServe支持eager模式和TorchScript，并提供了默认的处理程序，使得部署常见模型时无需代码更改。TorchServe可以同时托管多个模型，并支持版本控制。其功能包括多模型服务、用于A/B测试的模型版本控制、监控指标以及用于应用集成的RESTful端点。TorchServe支持任何机器学习环境，包括Amazon SageMaker、Kubernetes和Amazon EKS。

Meta与AWS的合作目标

Meta正在推动PyTorch在AWS上协调跨分布式AI加速器系统的大规模训练任务。这将使开发者更容易构建用于自然语言处理和计算机视觉的大规模深度学习模型。

合作内容

两家公司将共同提供原生工具，以提升PyTorch在推理性能、可解释性和成本方面的表现。

合作背景

此次合作扩展了Meta与AWS过去五年间的现有关系。目前，Meta使用AWS的基础设施和能力来补充其现有的本地基础设施，并将扩大对AWS计算、存储、数据库和安全服务的使用，以在云中提供隐私、可靠性和可扩展性。