OpenAI发布新的嵌入模型和改进的GPT-4 Turbo

OpenAI 近期更新总结

OpenAI 最近宣布了一系列模型更新,包括两个新的嵌入模型以及对 GPT-4 Turbo 和 GPT-3.5 Turbo 的改进。此外,公司还对其免费的文本审核工具和开发者 API 管理工具进行了优化。

新嵌入模型发布

OpenAI 发布了两个新的嵌入模型:text-embedding-3-smalltext-embedding-3-large。其中,text-embedding-3-small 是对之前 text-embedding-ada-002 模型的重大升级,具有更好的基准性能,并且每个 token 的价格更低。text-embedding-3-large 则具备更出色的基准性能,支持的最大维度为 3072。

这两个新模型都支持减少输出维度。虽然 text-embedding-3-smalltext-embedding-3-large 的默认维度分别为 1536 和 3072,但开发者可以通过 API 调用指定更小的维度值。这使得开发者可以在应用中更高效地使用向量存储,而不会牺牲准确性。例如,OpenAI 声称 text-embedding-3-large 可以输出尺寸为 256 的嵌入,其性能优于 text-embedding-ada-002 的全尺寸嵌入。

GPT-4 Turbo 更新

OpenAI 在 2023 年底的开发者大会上首次发布了 GPT-4 Turbo,该模型具备更长的上下文窗口和更低的价格。自发布以来,超过 70% 的 GPT-4 请求已转向使用 Turbo 模型。此次更新的 Turbo 模型修复了一些错误,并解决了模型“懒惰”问题,即模型未能完成诸如代码生成等任务。

开发者平台更新

OpenAI 还对其开发者平台进行了两项更新。一是新增了 API 密钥的访问控制功能:管理员可以为每个密钥分配对多个 API 端点的只读或写入权限,包括微调功能。此外,管理员还可以启用每个 API 密钥的使用跟踪功能。

开发者反馈与讨论

OpenAI 的开发者体验主管 Romain Huet 在 X 平台上发布了关于新版本的信息。当用户询问 GPT-4 Turbo 何时结束预览时,Huet 回复称目前没有确切的时间表,但用户已经可以在生产环境中使用它。

在 Hacker News 的讨论中,一些用户讨论了新的 GPT-4 Turbo 模型是否减少了“懒惰”问题。有用户声称该模型在“懒惰编码基准测试”中表现更差。其他用户则对嵌入模型的维度缩减能力表示赞赏,认为这为大多数使用场景提供了更高效的解决方案。

关于模型如何实现维度缩减,AI 研究员 Delip Rao 推测 OpenAI 可能使用了一种名为 Matryoshka 方法 的训练技术来实现这一功能。

总结

OpenAI 此次更新涵盖了嵌入模型、GPT-4 Turbo 以及开发者平台的多个方面,旨在提升性能、降低成本并增强开发者的工具使用体验。新嵌入模型的推出和维度缩减功能为开发者提供了更大的灵活性,而 GPT-4 Turbo 的改进则进一步优化了模型的表现和实用性。

阅读 27
0 条评论