OpenAI 发布 ChatGPT 新功能：语音与图像处理

OpenAI 近期宣布为 ChatGPT 推出新的语音和图像处理功能。这些功能包括：

1. 图像处理：由新后端模型 GPT-4V（GPT-4 Vision）负责处理图像输入，并集成更新后的 DALL-E 模型以生成图像。
2. 语音对话：移动端 ChatGPT 应用用户将能够与聊天机器人进行语音对话。

DALL-E 3 与 GPT-4V 的集成

OpenAI 宣布其最新图像生成 AI 模型 DALL-E 3 已进入“研究预览”阶段，并将在一个月内向 ChatGPT Plus 和企业用户开放。DALL-E 3 与 ChatGPT 的集成使用户可以更轻松地通过聊天机器人生成提示。图像理解功能由 GPT-4V 支持，这是一个多模态版本的 GPT 模型。语音功能则使用 OpenAI 的 Whisper 自动语音识别（ASR）模型处理用户语音输入，并通过新的文本转语音（TTS）模型将 ChatGPT 的文本输出转换为用户选择的五种语音之一。

安全与测试

OpenAI 逐步部署这些新功能，并进行了广泛的测试以确保安全性：

• Beta 测试：从 2023 年 3 月到 8 月，OpenAI 与 200 名 Beta 测试员进行了试点项目，随后在 9 月扩展到 16,000 名用户。
• 开发者 Alpha 测试：超过 1,000 名开发者在三个月内访问了 GPT-4V 模型，以获取用户交互的反馈。
• 红队测试：OpenAI 组织了“红队”测试模型在科学领域的能力，如理解出版物中的图像以及提供基于医学图像（如 CT 扫描）的医疗建议。OpenAI 特别指出，当前版本的 GPT-4V 不适合执行任何医疗功能。

用户反馈与合作伙伴

用户和合作伙伴对新功能的反响如下：

• 用户反馈：一些用户指出语音功能存在延迟问题，建议开发更先进的语音对话模型。
• 合作伙伴：Spotify 使用 OpenAI 的语音生成技术为其播客提供语音翻译功能。微软广告与网络服务 CEO 宣布 DALL-E 3 已集成到 Bing 的图像生成工具中。OpenAI 还宣布将推出 ChatGPT 的“Browse with Bing”功能，使机器人能够访问模型训练后发布的网络信息。

总结

OpenAI 通过引入 GPT-4V 和 DALL-E 3，扩展了 ChatGPT 的功能，使其能够处理图像和语音输入。尽管这些功能具有巨大潜力，但 OpenAI 在部署过程中采取了谨慎态度，并进行了广泛的测试以确保安全性和功能性。用户和合作伙伴的反馈也为未来的改进提供了宝贵的见解。