主要观点:通过利用语言模型的潜在表示,以何种成本效益的方式引出强推理能力,用 Resa 这一家族的 15 亿推理模型通过新颖高效的稀疏自编码器调优(SAE-Tuning)程序来回答此问题,该方法先训练 SAE 从源模型捕获推理能力,再用其引导标准监督微调过程在目标模型中引出能力,使用验证过的问答数据且无推理痕迹;将其应用于某些基础模型在进一步强化学习后训练时,能保留超 97%的推理性能且降低超 2000 倍成本至约 1 美元、缩短超 450 倍时间至约 20 分钟,应用于轻强化学习模型时能以约 1 美元额外成本获得如 AIME24 的 43.33%Pass@1 和 AMC23 的 90%Pass@1 推理性能,通过 SAE 提取的推理能力具有通用性和模块化,通用性指从一个数据集提取的能力可提升更大重叠语料库的性能,模块化指从 Qwen 或 Qwen-Math 提取的能力可在测试时附加到 R1-Distill 模型且无需重新训练获得可比增益,大量消融实验验证了这些发现且所有成果完全开源。
关键信息:Resa 模型、SAE-Tuning 程序、不同版本提交时间及大小、相关学科领域、引用信息等。
重要细节:提到具体的模型数据如 1.5B 推理模型等,以及各种实验数据如不同情况下的推理性能数据等。
**粗体** _斜体_ [链接](http://example.com) `代码` - 列表 > 引用
。你还可以使用@
来通知其他用户。