DeepSeek 发布 Janus-Pro 多模态模型全面总结

主要观点

DeepSeek 发布了其多模态模型 Janus 的更新版本——Janus-Pro。该版本在训练策略、数据扩展和模型规模方面进行了改进，增强了多模态理解和文本到图像生成的能力。Janus-Pro 在多项基准测试中表现优异，甚至超过了 OpenAI 的 DALL-E 3 和 Stable Diffusion 等先进模型。

关键信息

1. 模型改进:

   • 视觉编码分离: Janus-Pro 将视觉编码分为理解和生成任务，解决了稳定性和性能问题。
   • 合成美学数据: 引入合成美学数据，提升文本到图像生成的质量。
   • 自回归框架: 采用自回归框架，分离多模态理解和生成的视觉编码路径，同时保持单一变压器架构，增加灵活性并减少冲突。

2. 性能提升:

   • 多模态理解: 使用 POPE、MME-Perception（缩放）、GQA 和 MMMU 的平均准确率进行衡量。
   • 视觉生成: 使用 GenEval 和 DPG-Bench 进行评估。Janus-Pro 在多项基准测试中表现优于之前的统一多模态模型和部分任务特定模型。

3. 模型基础:

   • 基于 DeepSeek-LLM-1.5B 和 DeepSeek-LLM-7B: 较大模型在 MMBench 和 GenEval 等基准测试中表现更好。
   • 视觉编码器: 使用 SigLIP-L 作为视觉编码器，支持 384x384 图像输入。
   • 图像生成: 依赖下采样率为 16 的分词器。

4. 与 DALL-E 3 的比较:

   • 性能优势: Janus-Pro-7B 在 GenEval 和 DPG-Bench 等基准测试中表现优于 DALL-E 3。
   • 原因: 改进的训练过程、数据质量和模型规模，生成更稳定和详细的图像。

重要细节

• 开源: Janus-Pro 在 GitHub 上以 MIT 许可证发布，模型使用受 DeepSeek 模型许可证管辖。

• 专家评价:

  • Vedang Vatsa FRSA: 称赞 Janus-Pro-7B 在理解/生成分离、数据/模型扩展、统一性、灵活性和成本效益方面的优势。
  • Huzaifa Shoukat: 强调 Janus Pro 模型的多模态理解和生成能力，特别是 1B 模型在浏览器中通过 WebGPU 和 Transformers.js 运行的能力。

总结

DeepSeek 的 Janus-Pro 多模态模型在训练策略、数据扩展和模型规模方面进行了显著改进，提升了多模态理解和文本到图像生成的性能。该模型在多项基准测试中表现优异，甚至超过了 DALL-E 3 和 Stable Diffusion 等先进模型。Janus-Pro 的开源发布和专家评价进一步证明了其在多模态领域的领先地位和广泛应用潜力。