大型推理模型 （LRM） 的比较 OpenAI DeepSeek R1 Gemini 2.0

大型推理模型 （LRM） 的比较 OpenAI DeepSeek R1 Gemini 2.0

📖阅读时长：25分钟

🕙发布时间：2025-02-06

近日热文：全网最全的神经网络数学原理（代码和公式）直观解释
欢迎关注知乎和公众号的专栏内容
LLM架构专栏
知乎LLM专栏
知乎【柏企】
公众号【柏企科技说】【柏企阅文】

1. 架构与训练技术

OpenAI的O1和O3系列

• 架构：OpenAI的O系列模型（O1、O3以及较小的O3-mini）采用密集Transformer架构。其关键创新并非新架构，而是加入了大量强化学习（RL），以此教会模型生成内部 “思维链”。
• 训练方法：这些模型使用人类反馈强化学习（RLHF）进行微调，这使它们能在推理时进行规划和 “思考”。一个突出特点是推理力度可调，用户可选择低、中、高不同的计算 “思考” 模式，在速度与深度之间权衡。
• 表现：它们擅长对STEM问题、编码任务和逻辑谜题给出逐步解释，并且针对处理超长上下文（高达100K - 200K令牌）进行了优化。

DeepSeek R1

• 架构：DeepSeek R1采用了不同的路径，运用混合专家（MoE）设计。尽管总参数数量庞大（6710亿个参数），但由于选择性专家激活机制，每个令牌仅激活一小部分参数（约370亿个）。
• 训练方法：和O系列一样，R1也通过强化学习进行优化。它在一个极为庞大的数据集上进行训练，约14.8万亿个令牌，重点关注编码、技术文档和数学问题。
• 表现：这种设计实现了令人瞩目的吞吐量和能源效率。R1在编码任务、调试甚至自动重构方面表现突出，它能够在长达128K令牌的上下文窗口中追踪复杂代码库。

谷歌的Gemini 2.0（快速与Flash Thinking模式）

• 架构：Gemini 2.0使用类似于PaLM的密集Transformer架构，并进行了扩展，使其能够原生处理多种模态（文本、图像、语音）。
• 训练方法：其训练过程涉及监督式思维链数据集和强化学习微调，以此教会模型 “大声思考”。Flash Thinking模式在推理时会明确生成中间推理步骤。
• 表现：Gemini不仅能给出逐步推理，还可以调用外部工具（如计算器或搜索API）来提高准确性。它的多模态能力使其在各个领域都能灵活应用，从分析图表到编写代码，甚至生成语音。

开源模型：QwQ和Sky-T1

• QwQ（阿里巴巴的320亿参数模型）：QwQ基于Qwen系列构建，经过微调以强调推理能力。它采用了额外的推理时 “反思” 机制，用于审查和完善答案。虽然它受益于思维链训练，但关于其数据集的详细信息仍然有限。
• Sky-T1（加州大学伯克利分校的模型）：Sky-T1被设计为可访问的 “开放式GPT-O1模拟模型”，从QwQ中提取知识。仅通过17000个精心挑选的、专注于数学和编码的示例，它证明了即使使用较小的数据集，有针对性的训练也能培养出出色的推理技能。它的训练方法，包括透明的数据生成脚本和拒绝采样，完全开放，可供检查和复制。

2. 数据集组成与透明度

闭源模型（OpenAI、DeepSeek、Gemini）

• 数据来源：这些模型在庞大多样的语料库上进行训练，包括代码库、教科书、网络文章、技术文档，特别是Gemini，还使用了多模态数据，如图像和配对文本。
• 透明度：虽然OpenAI和谷歌分享了其数据组成的高级见解，但详细信息仍然保密。DeepSeek提供了更多技术细节（如14.8万亿个令牌），但其确切的语料库内容仍未公开。

开源模型（QwQ和Sky-T1）

• 数据来源：据信，QwQ是在数学谜题、编码示例和思维链数据集的混合数据上进行训练的，而Sky-T1的整个训练集（约17000个高质量示例）是公开的。
• 透明度：开源模型在这方面表现出色。例如，Sky-T1提供对其训练脚本、数据管理方法和微调流程的完全访问权限，确保其推理路径可由社区审查和改进。

3. 效率与优化技术

OpenAI的O系列

• 推理时间优化：OpenAI的方法不是简单地扩大模型规模，而是在推理时为困难查询分配额外计算资源。这种 “推理力度” 可根据任务复杂度进行调整。
• 上下文处理：专门的注意力机制和上下文窗口优化，使这些模型能够在不牺牲性能的前提下处理极长文档。

DeepSeek R1

• MoE效率：通过仅激活每个令牌的大量参数集中的一小部分，R1大幅减少了每个令牌的计算量，实现了高吞吐量（在A100 GPU上每秒超过300个令牌）和能源效率。
• 缓存：内置的上下文缓存确保几乎可以立即处理重复查询，进一步提高了企业场景中的效率。

谷歌Gemini 2.0

• 工具委派：Gemini利用外部工具调用来处理子任务（如算术运算或实时搜索），从而避免不必要的内部计算。
• 多模态并行性：该系统旨在同时处理不同模态，平衡计算负载，即使在深思熟虑的Flash Thinking模式下，也能保持响应速度。

开源模型

• 轻量级优化：QwQ和Sky-T1的参数规模为320亿，经过设计可在更普通的硬件上高效运行。它们受益于现代量化技术（如4位或8位量化）和优化的推理库。
• 有针对性的训练：Sky-T1通过知识蒸馏取得的成功表明，通过精心策划的特定领域数据，无需大规模训练即可实现高质量推理。

4. 独特功能与领域优势

通用推理与专业化

• OpenAI O1/O3：这些模型被设计为多功能工具，能够处理从解决复杂数学问题、编写代码到利用视觉输入进行空间推理等各种任务。它们的思维链机制能产生合理的答案，让人信赖。
• DeepSeek R1：R1专为技术任务（尤其是编码）量身定制。它的调试能力、多跳代码分析和上下文代码补全功能，使其成为优秀的AI编程伙伴，不过可能不太适合创造性或对话性任务。
• 谷歌Gemini 2.0：Gemini的多模态和智能体能力使其能够无缝集成文本、图像甚至语音。它的Flash Thinking模式不仅使其成为强大的问题解决者，还能像导师一样清晰地解释推理过程。
• 阿里巴巴QwQ和Sky-T1：QwQ的优势在于数学和分析问题解决，具有支持多种语言的双语优势。Sky-T1在此基础上，将数学和编码能力与高度结构化的输出相结合，对学术研究和特定领域的应用特别有吸引力。

5. 实际表现与用户体验

用户交互与输出风格

• OpenAI模型：当通过ChatGPT等接口部署时，O1和O3提供的答案既合理又简洁。虽然它们内部会生成详细的思维链，但除非用户明确要求，否则这些思维链通常对最终用户隐藏，在透明度和可用性之间取得了平衡。
• DeepSeek R1：用户与R1的交互就像与技术顾问交流一样。它不仅提供代码补全，还会展示调试过程。上下文缓存确保对重复查询能快速响应，其简洁的技术风格非常适合企业环境。
• 谷歌Gemini 2.0：Gemini提供丰富的多模态用户体验。例如，上传图表图像并要求分析后，用户会收到文本解释和视觉注释。它能够在快速响应和深入推理模式之间切换，适用于日常查询和复杂问题。
• 开源体验（QwQ和Sky-T1）：这些模型通常会展示内部推理过程，这对学习和研究特别有价值。然而，它们的原始输出可能需要用户进一步解析。它们的开放性使研究人员能够修改、微调并将其集成到自定义工作流程中，这是商业模型通常不具备的灵活性。

6. 主流方法与开放方法

功能与性能

• 主流模型：凭借庞大的数据集、广泛的RL微调以及专用的基础设施，像OpenAI的O系列、DeepSeek R1和Gemini 2.0这样的主流模型，通常在各种任务的整体性能上领先。
• 开源模型：尽管QwQ和Sky-T1等开源模型通常规模较小且更具专业性，但通过专注于有针对性的高质量训练数据，它们正在迅速缩小小众领域（尤其是数学和编码领域）的差距。

透明度与定制性

• 封闭模型：专有系统牺牲了部分透明度，以换取完善的、一站式的用户体验。它们的内部过程和训练数据集是保密的，这可能会限制可审计性和可定制性。
• 开放模型：透明度是开放模型的决定性优势。开源项目提供对训练数据、代码甚至内部推理过程的完全访问。这种开放程度不仅建立了信任，还使研究人员能够根据特定领域和需求定制模型。

成本与部署

• 企业级服务：主流模型通常需要大量计算资源，并且每次使用都有成本，这反映了它们的规模和性能。它们提供完全托管的基础设施和支持，非常适合大规模商业应用。
• 轻量级解决方案：开源模型通常可以在普通硬件上运行。它们较低的计算要求和针对特定任务进行微调的可能性，使其成为更具成本效益的解决方案，特别是对于小众应用。

结论

大型推理模型领域呈现出丰富多样的发展路径：

• OpenAI的O1/O3系列展示了强化学习和动态推理时间计算，如何将标准密集Transformer转变为多功能问题解决器。
• DeepSeek R1利用混合专家架构优化效率，在技术领域（尤其是编码和调试）表现出色。
• 谷歌的Gemini 2.0通过多模态输入和明确的 “大声思考” 模式突破极限，将通用推理与特定领域工具集成相结合。
• QwQ和Sky-T1等开源项目表明，通过精心策划的数据和创新的微调策略，可以以可访问、透明和可定制的形式实现高级推理。

本文由mdnice多平台发布