OpenAI 发布 GPT-4o mini

OpenAI 发布了其旗舰模型 GPT-4o 的缩小版本——GPT-4o mini。该模型在多个大型语言模型（LLM）基准测试中表现优于 GPT-3.5 Turbo，并且是 OpenAI 首个采用指令层次结构（instruction hierarchy）方法训练的模型，这种方法提高了模型对越狱攻击和系统提示提取的抵抗力。

主要特性

• 语言和模态支持：GPT-4o mini 支持与完整版 GPT-4o 相同的语言和模态，但目前 OpenAI API 仅支持文本和视觉输入/输出，音频和视频功能“未来将推出”。
• 上下文窗口：GPT-4o mini 具有与 GPT-4o 相同的 128k 标记的上下文窗口。
• 训练知识截止日期：与 GPT-4o 相同，训练知识截止日期为 2023 年 10 月。
• 安全措施：内置与 GPT-4o 相同的安全缓解措施，并且通过指令层次结构训练方法，模型对越狱攻击的抵抗力提高了 30%，对系统提示提取的防御能力提高了 60%。

性能表现

在 MMLU 和 HumanEval 等 LLM 基准测试中，GPT-4o mini 表现优于 Gemini Flash、Claude Haiku 以及 GPT-3.5 等同类小型 LLM。OpenAI 表示，GPT-4o mini 的早期版本“upcoming-gpt-mini”在 Arena 测试中表现优异，用户投票超过 6,000 次，早期得分达到 GPT-4-Turbo 水平，同时显著降低了成本。

训练方法

OpenAI 最近发布了一篇关于指令层次结构训练方法的研究论文。该方法的核心思想是，许多针对 LLM 的攻击利用了“LLM 通常将系统提示与来自不受信任用户和第三方的文本视为同等优先级”的事实。为了解决这个问题，OpenAI 开发了一个训练数据集，教导 LLM 在冲突时忽略“低优先级”指令。

评估结果

研究人员首先在数据集上微调模型，然后在一组开源和专有的攻击基准测试中进行测试。微调后的模型在所有基准测试中表现出更高的鲁棒性。然而，团队注意到模型在某些基准测试中倾向于“过度拒绝”，但他们认为这在现实世界应用中不会导致明显的模型行为退化。

业界评价

OpenAI CEO Sam Altman 在 X 上表示，公司 2022 年的最佳模型 text-davinci-003 相比 GPT-4o mini “差了很多”。LMSYS 团队也在 X 上透露，GPT-4o mini 的早期版本在 Arena 测试中表现优异，用户投票超过 6,000 次，早期得分达到 GPT-4-Turbo 水平，同时显著降低了成本。

然而，沃顿商学院教授 Ethan Mollick 表示，GPT-4o mini 虽然对于小型模型来说令人印象深刻，但并不能替代前沿模型。在处理复杂教育提示时，它无法像 GPT-4o 那样很好地遵循指令，并且会错过 GPT-4o 能够捕捉的细微差别。

可用性

GPT-4o mini 现已通过 OpenAI API 和 ChatGPT 提供使用。