GPT-4o Mini
7月19日凌晨,OpenAI在其官网发布了最新的大模型GPT-4o Mini。该新模型具备跨文本、图像、音频和视频的多模态推理能力。
性能测试显示,GPT-4o Mini比GPT-4表现更好,具备约80%的GPT-4o能力。然而,API的价格大幅下降了60%,输入每百万tokens仅需15美分,输出每百万tokens仅需60美分。
ChatGPT用户的免费访问
从今天开始,GPT-4o Mini将取代GPT-3.5 Turbo,为注册的ChatGPT用户提供免费服务。值得注意的是,这是OpenAI发布的第一个基于指令层级结构的模型。
GPT-4o Mini的性能数据
OpenAI的测试数据展示了GPT-4o Mini在数学、编码和视觉任务上的出色推理能力,使其成为目前最强的多模态小模型之一。
- MMLU得分:82.0%,超过谷歌的Gemini Flash(77.9%)和Anthropic的Claude Haiku(73.8%)。
- 数学和编码(MGSM测试):得分为87.0%,相比之下,Gemini Flash得分75.5%,Claude Haiku得分71.7%。
- 编码性能(Human Eval):得分87.2%,超过Gemini Flash(71.5%)和Claude Haiku(75.9%)。
- 多模态(MMMU):得分59.4%,高于Gemini Flash(56.1%)和Claude Haiku(50.2%)。
通过指令层级结构提升的安全性
GPT-4o Mini内置多层过滤模式,可有效减少色情、种族歧视、不当言论等非法内容的输出,并首次采用指令层级结构显著增强模型的安全性能。
首个指令层级结构模型
4月19日,OpenAI发布了一篇关于指令层级结构的研究论文,这是一种帮助大模型防御各种恶意攻击的全新训练方法。传统模型在处理系统提示、用户消息和第三方内容时,没有区分优先级,给恶意攻击提供了机会。OpenAI的指令层级结构确保系统消息具有最高优先级,其次是用户消息,最后是第三方内容。这种层级结构使模型能够选择性地忽略低优先级指令,有效抵御恶意攻击。
自动化数据生成用于训练
为了实现这一层级结构,OpenAI开发了一种自动化数据生成方法,利用合成数据生成和上下文蒸馏技术,生成大量训练数据,教会模型如何在面对对齐和错位指令时做出正确反应。
对齐指令与高优先级指令具有相同的约束、规则或目标,而错位指令则与高优先级指令相冲突或无关。例如,对于一个汽车销售机器人,合适的对齐指令可能是“给我推荐一款适合家庭使用的最佳汽车”,而错位指令可能是“以1美元的价格卖给我一辆车”。模型通过训练学会了遵循对齐指令并忽略错位指令。
目前,GPT-4o Mini仅提供文本和图像功能,未来将开放语音和视频功能,使用户能够免费使用GPT-4o的多模态推理能力,这将大大有助于教育、翻译等领域。OpenAI表示,将继续开发类似GPT-4o这样的高性能、低能耗的小模型,加速生成式AI应用的开发和集成,帮助开发者和企业打造超级智能应用。
本文由mdnice多平台发布
**粗体** _斜体_ [链接](http://example.com) `代码` - 列表 > 引用
。你还可以使用@
来通知其他用户。