Meta AI 推出 CM3leon：新型多模态生成模型

Meta AI 发布了 CM3leon，这是一种结合文本和图像生成的新型多模态模型。CM3leon 是首个采用改进自纯文本语言模型公式的模型，能够在计算效率上实现卓越表现，并显著降低训练成本和提高推理效率。

主要特点

1. 高效生成：CM3leon 在文本到图像生成方面达到了行业领先水平，同时计算资源消耗比之前的基于 Transformer 的技术少五倍。
2. 多模态能力：作为因果掩码混合模态（CM3）模型，CM3leon 能够根据任意文本和图像序列生成依赖的文本和图像序列，增强了先前模型的能力。
3. 自回归模型特性：CM3leon 具备自回归模型的力量和适应性，同时在训练和推理阶段表现出显著的效率和成本效益。

架构

CM3leon 使用类似于成熟文本模型的仅解码器 Transformer 架构，但其独特之处在于能够输入和生成文本和图像。这使得 CM3leon 能够成功处理各种任务，如提示问题和模型生成。

研究背景

根据 Meta 对自回归多模态模型的研究，扩散模型因其卓越的性能和低计算成本在图像生成领域占据主导地位。相比之下，基于 token 的自回归模型虽然也能产生出色的结果，特别是在全局图像一致性方面，但训练和推理成本显著更高。

生成模型的复杂性

生成模型在数百万样本图像上进行训练，以学习视觉和文本之间的关系，但也可能反映训练数据中的任何偏见。尽管 AI 生成图像已通过 Stable Diffusion、DALL·E 和 Midjourney 等流行工具变得熟悉，但 Meta AI 构建 CM3leon 的方法及其承诺的性能代表了显著的进步。

结论

CM3leon 的推出标志着多模态生成模型领域的一次重要飞跃，其在效率和能力上的创新为未来的 AI 发展提供了新的可能性。