PyTorch 2.1 发布

在最近的 PyTorch Conference 2023 上，PyTorch 2.1 正式发布。该版本引入了多项新功能和优化，特别是在动态形状支持和分布式训练方面。

动态形状支持

PyTorch 2.1 引入了 torch.compile 的自动动态形状支持，使得模型架构可以处理动态输入形状。这一功能消除了固定输入形状的限制，为不同用例提供了更大的灵活性。

分布式训练优化

通过 torch.distributed.checkpoint，PyTorch 2.1 提升了分布式训练的效率和可靠性。该功能允许并行保存和加载多个训练作业，特别适用于长时间运行的训练任务，确保训练过程更加顺畅。

NumPy API 支持

PyTorch 2.1 在 torch.compile 中增加了对 NumPy API 的支持，增强了 PyTorch 和 NumPy 之间的互操作性。这使得 NumPy 代码可以在不同设备上高效执行，提升了代码生成效率。

性能优化

PyTorch 2.1 还引入了多项性能优化，包括 CPU Inductor 增强、AVX512 支持以及 Scaled-Dot-Product-Attention 机制的改进。此外，torch.export 的原型发布为捕捉完整图提供了机制，支持基于 torch.export 的量化，从而减少模型大小并提升边缘设备和移动平台的推理速度。

ExecuTorch 发布

ExecuTorch 的发布标志着 PyTorch 在移动和边缘设备性能优化方面迈出了重要一步。ExecuTorch 引入了轻量级操作符注册表，简化了 PyTorch 模型的核心构建模块——操作符的管理，确保运行时性能最优。

设备端模型分析

ExecuTorch 还引入了设备端模型分析功能，直接在目标设备上分析和优化模型性能。这种实时分析对于识别性能瓶颈、优化模型效率和降低延迟至关重要，特别适用于增强现实、虚拟现实和物联网等领域。

PyTorch 基金会新增成员

PyTorch 基金会迎来了华为和 Lightning AI 作为新的顶级成员。

华为

华为的加入旨在优化 PyTorch，充分发挥其 Ascend 计算平台在 AI 应用中的强大计算性能。

Lightning AI

Lightning AI 是 PyTorch Lightning 的开发者，PyTorch Lightning 是 PyTorch 的一个轻量级封装，简化了研究人员和开发者的工作。Lightning AI 的加入进一步巩固了其对 PyTorch 生态系统的支持。

Docathon 活动

PyTorch 社区计划在 2023 年 11 月举办 Docathon 活动，旨在完善和扩展框架的文档，确保其保持最新且用户友好。开发者可以通过 PyTorch YouTube 频道观看会议视频，或查看活动日程获取更多信息。