语言模型自我改进技术（LMSI）

Google与伊利诺伊大学厄巴纳-香槟分校（UIUC）的研究团队共同发布了一项名为语言模型自我改进（LMSI）的技术。该技术通过对大型语言模型（LLM）自身生成的数据集进行微调，显著提升了模型在多个基准测试中的性能，并在其中四项测试中创造了新的准确率记录。

技术背景与实现方法

1. 基础模型：研究团队使用了预训练的540B参数PaLM模型作为基础模型。
2. 数据集生成：模型接收来自未标记训练数据集的问题，并配以链式思维（Chain-of-Thought, CoT）提示，生成答案。这些生成的问题和答案被用作微调训练数据集。
3. 微调与评估：微调后的模型在三个自然语言处理（NLP）任务（算术推理、常识推理和自然语言推理）的基准数据集上进行了评估。
4. 性能提升：在四项基准测试（ARC-c、OpenBookQA、ANLI-A2和ANLI-A3）中，微调后的模型表现优于之前的记录。

链式思维提示（CoT）的作用

• CoT提示通过在输入问题前添加示例问题、答案以及推理步骤，增强模型的理解和生成能力。
• 此前，PaLM模型在CoT提示下已在多项推理基准测试中实现了少样本学习的最优性能。

数据集生成与过滤

• 数据集生成：团队从训练数据集中提取问题，并通过添加CoT示例和提示（如“让我们逐步思考”）来增强问题，随后输入PaLM模型生成多个候选答案。
• 过滤机制：通过自一致性过滤，保留置信度最高的答案，形成最终的问题/答案数据集。

知识蒸馏与模型规模

• 除了微调540B PaLM模型，团队还通过生成的数据集对更小规模的PaLM模型进行微调。
• 研究发现，微调后的62B参数模型优于预训练的540B参数模型，而微调后的8B参数模型也优于预训练的62B参数模型。
• 这一结果表明，模型性能的提升不仅仅依赖于参数规模，微调过程也起到了关键作用。

未来展望

• 研究团队计划将大规模生成数据与现有的监督数据结合，以进一步提升LLM的性能。
• 他们希望这一简单的技术和显著的实验成果能够鼓励更多研究者在无需额外人类监督的情况下探索预训练LLM的最优性能。

社区反响

• Jules Gagnon-Marchand（NLP研究生）称这一结果为“极其强大的副产品”，并指出其效果相当于将参数规模扩大10倍。
• 在Reddit讨论中，有用户提出疑问：LMSI训练本身需要多大的模型规模？研究仅展示了540B模型的结果，未来研究可以进一步探索这一问题的答案。

基准测试排名

LMSI在多个NLP基准测试中的排名可在Papers with Code上查看。

通过LMSI技术，研究团队展示了LLM在自我改进方面的潜力，并为进一步探索模型性能提升提供了新的方向。