DeepSpeed 团队推出了 DeepSpeed-Chat,这是一个免费的开源解决方案和框架,专为使用 RLHF 训练高质量 ChatGPT 风格模型而设计。它简单(一键操作)、快速且成本极低,适用于各种客户,包括学校科研、初创公司和大规模云训练。相较于 SoTA,它的速度提升了15倍,可以在单个 GPU 上训练 10B+ 的模型大小,以及在多 GPU 系统上训练 100B+ 的模型大小。
作为一款基于 PyTorch 的稳定且高效的大规模深度学习加速系统,DeepSpeed 是业界最早和最优秀的深度学习开源框架之一。近期,许多知名的中小型 ChatGPT 风格的模型发布的后台加速平台都采用了 DeepSpeed,包括Databricks-Dolly、Huggingface-PEFT、LMFlow 等。
**粗体** _斜体_ [链接](http://example.com) `代码` - 列表 > 引用
。你还可以使用@
来通知其他用户。