开源社KAIYUANSHE

DeepSpeed 团队推出了 DeepSpeed-Chat,这是一个免费的开源解决方案和框架,专为使用 RLHF 训练高质量 ChatGPT 风格模型而设计。它简单(一键操作)、快速且成本极低,适用于各种客户,包括学校科研、初创公司和大规模云训练。相较于 SoTA,它的速度提升了15倍,可以在单个 GPU 上训练 10B+ 的模型大小,以及在多 GPU 系统上训练 100B+ 的模型大小。

作为一款基于 PyTorch 的稳定且高效的大规模深度学习加速系统,DeepSpeed 是业界最早和最优秀的深度学习开源框架之一。近期,许多知名的中小型 ChatGPT 风格的模型发布的后台加速平台都采用了 DeepSpeed,包括Databricks-Dolly、Huggingface-PEFT、LMFlow 等。


开源社
11 声望2 粉丝

开源社成立于 2014 年,是由志愿贡献于开源事业的个人成员,依 “贡献、共识、共治” 原则所组成,始终维持厂商中立、公益、非营利的特点,是最早以 “开源治理、国际接轨、社区发展、开源项目” 为使命的开源社区联...