Visual ChatGPT：支持多模态交互的聊天机器人系统

微软研究院最近开源了Visual ChatGPT，这是一个能够根据用户文本提示生成和操作图像的聊天机器人系统。该系统结合了OpenAI的ChatGPT与22种不同的视觉基础模型（VFM），以支持多模态交互。

该系统在arXiv上发布的一篇论文中进行了详细描述。用户可以通过输入文本或上传图像与机器人交互。机器人可以根据文本提示从头生成图像，或者基于聊天历史中的图像进行修改。系统的核心模块是Prompt Manager，它将用户的原始文本修改为“思维链”提示，帮助ChatGPT判断是否需要使用VFM工具来执行图像任务。

Visual ChatGPT的特点

1. 多模态交互：Visual ChatGPT不仅支持文本输入，还能处理图像输入，并生成或修改图像。
2. Prompt Manager：通过精心设计的一系列提示，将视觉信息注入ChatGPT，使其能够逐步解决复杂的视觉问题。
3. 开源系统：Visual ChatGPT的源代码已在GitHub上公开，供开发者使用和扩展。

系统架构

Visual ChatGPT的架构基于LangChain Agent，VFMs被定义为LangChain Agent的工具。Prompt Manager根据用户提示和对话历史（包括图像文件名）来决定是否需要使用工具，并应用提示前缀和后缀。前缀中的文本指导ChatGPT判断是否需要使用工具，并在需要时输出工具名称及其所需输入（如图像文件名或图像描述）。

技术细节

1. VFM工具调用：系统会迭代调用VFM工具，直到不再需要使用工具为止，最终生成的文本输出会被发送到聊天中。
2. 图像与语言模型的差异：在Hacker News的讨论中，有用户指出，VFM模型比语言模型占用更少的内存。这是因为图像模型即使输出稍有偏差，结果仍然可以接受，而语言模型需要更高的精度，因此需要更大的模型来确保输出的准确性。

总结

Visual ChatGPT是一个创新的多模态交互系统，通过结合ChatGPT和多种视觉基础模型，扩展了聊天机器人的能力，使其能够处理图像任务。该系统的开源为开发者和研究人员提供了新的工具和可能性，进一步推动了多模态AI技术的发展。