Phi-2：微软发布的小型语言模型的强大表现

微软研究院近日发布了Phi-2，这是一款基于Transformer架构、拥有27亿参数的语言模型。Phi-2在由GPT-3.5生成的1.4万亿个token的合成数据上进行训练，并在多个基准测试中表现优于更大的模型。

Phi-2的特点与创新

Phi-2是微软Phi系列模型的最新版本，该系列模型结合了网络抓取和合成的“教科书质量”数据集进行训练。相比前代模型（仅有13亿参数），Phi-2的参数规模扩大了一倍，并在96个A100 GPU的集群上训练了两周。尽管Phi-2的规模较小，但其性能可与参数规模高达其25倍的模型相媲美，甚至在推理、语言理解和编码基准测试中超越了700亿参数的Llama-2模型。

微软表示，Phi-2的紧凑规模使其成为研究人员的理想实验平台，适用于机制可解释性、安全性改进以及多任务微调实验。Phi-2已在Azure AI Studio模型目录中发布，以促进语言模型的研究与开发。

小型模型的训练方法

近年来，许多研究致力于在小型模型中复现大型语言模型（LLM）的能力。例如，谷歌的“Distilling Step-by-Step”方法利用教师LLM自动生成包含输入、输出标签及选择理由的小型微调数据集。微软的Orca 2则通过合成训练数据集和“Prompt Erasure”技术，实现了与参数规模大10倍的模型相当或更好的性能。

Phi系列模型的关键创新在于使用“教科书式”的合成数据集。尽管研究人员未公开数据集及其生成细节，但他们提到数据集的目标是生成“多样化且不重复”的示例，涵盖不同难度、复杂度和风格的“概念、技能和场景”。

Phi-2的微调与应用

微软机器学习基础团队负责人Sebastien Bubeck在X平台上分享了Phi-2的微调结果。团队在100万道数学练习题上微调Phi-2，并在法国全国数学考试中进行了测试，结果令人鼓舞。Predelo的AI负责人Mark Tenenholtz也肯定了Phi-2的表现，称“知识蒸馏确实有效”。

训练成本与数据生成

在Hacker News的讨论中，有用户指出Phi-2的训练成本约为3万美元，远低于生成数据所需的成本（使用GPT-4生成数据的API费用可能高得多）。讨论还提到，训练数据的质量是关键，许多用户更希望公司发布训练数据而非模型权重。

模型获取

Phi-2的模型权重已在HuggingFace平台上公开，供研究人员和开发者使用。

总结来看，Phi-2展示了小型语言模型在高效训练和强大性能方面的潜力，为语言模型的研究与应用提供了新的可能性。