DeepSeek-R1 开源模型总结

主要观点

DeepSeek 开源了基于强化学习（RL）微调的大型语言模型 DeepSeek-R1，旨在提升模型的推理能力。该模型在多个基准测试中表现优异，与 OpenAI 的 o1 模型持平，并在数学和编程任务上超越 GPT-4。DeepSeek-R1 是 DeepSeek-V3 的微调版本，采用了一种名为 Group Relative Policy Optimization (GRPO) 的推理导向强化学习变体。

关键信息

1. 模型基础：

   • DeepSeek-R1 基于 DeepSeek-V3，这是一个混合专家模型（MoE），此前已由 DeepSeek 开源。
   • 通过 GRPO 进行微调，GRPO 是一种专注于推理的强化学习方法。

2. 性能表现：

   • 在 MATH-500 和 SWE-bench 等基准测试中表现优异，与 OpenAI 的 o1 模型相当。
   • 在 AIME 2024 和 MATH-500 等测试中超越了 Claude-3.5-Sonnet 和 GPT-4o。
   • 在 LMArena 排名中，DeepSeek-R1 总体排名第三，在编程和数学任务中排名第一。

3. 模型开发过程：

   • 首先尝试仅使用 RL 微调，生成了 DeepSeek-R1-Zero，该模型在推理任务中表现出色，但存在可读性和语言混合问题。
   • 为了解决这些问题，团队引入了少量监督微调（SFT）阶段，收集了数千个链式推理示例进行 SFT，随后进行 RL 微调。
   • 最终生成了包含 80 万样本的数据集，用于进一步微调和知识蒸馏。

4. 知识蒸馏：

   • 从 DeepSeek-R1 到开源模型 Qwen 和 Llama 进行了知识蒸馏，生成的模型在数学和编程任务上表现优异，甚至超越 GPT-4。

5. 应用场景：

   • DeepSeek-R1 在创意写作、问答、编辑、摘要等任务中表现出色，尤其是在长上下文理解任务中显著优于 DeepSeek-V3。

重要细节

• LMArena 排名：DeepSeek-R1 在发布几天后即成为 LMArena 中的顶尖模型，尤其在编程和数学任务中表现突出。
• 实验反馈：Django 框架共同创建者 Simon Willison 在博客中分享了他对 DeepSeek 蒸馏 Llama 模型的实验，展示了模型在生成笑话时的详细思维过程。
• Andrew Ng 的评价：Andrew Ng 的新闻简报 The Batch 提到，DeepSeek 正在迅速成为开源模型的强大构建者，其模型的输出可用于蒸馏，有望推动语言模型和多模态模型的发展。

资源链接

• DeepSeek-R1 GitHub 仓库
• DeepSeek-R1 HuggingFace 页面
• DeepSeek-V3 介绍