Meta AI 推出两款生成式 AI 模型：Emu Video 和 Emu Edit

Meta AI 研究团队近日宣布了两款基于 Emu 基础模型的生成式 AI 模型：Emu Video 和 Emu Edit。这两款模型在多个基准测试中表现出色，分别专注于文本生成视频和基于文本的图像编辑。

Emu Video：文本生成视频

Emu Video 采用分两步的方法生成视频：

1. 生成图像：首先根据文本提示生成一张图像。
2. 生成视频：然后利用文本提示和生成的图像生成视频。

与以往的模型（如 Make-a-Video）不同，Emu Video 使用单一微调的 Emu 扩散模型完成这两个步骤。该模型在人类评估中表现出色，91.8% 的时间在生成质量上优于基线模型，86.6% 的时间在指令忠实度上表现更好。

Emu Video 能够生成 4 秒长的 512x512 像素视频，帧率为 16 fps。除了文本生成视频外，它还可以根据用户提供的图像生成视频，在该任务中，其输出在 96% 的情况下优于基线模型 VideoComposer。

Emu Edit：基于文本的图像编辑

Emu Edit 同样基于 Emu 扩散模型，但增加了一个任务嵌入层，将文本指令转换为额外的条件向量。该模型在人类评估中表现优异，生成的图像质量和指令忠实度均优于基线模型。

为了训练 Emu Edit，Meta 团队创建了一个包含 1000 万个样本的合成数据集。每个样本包括输入图像、文本指令、期望的输出图像和任务索引。任务索引指示文本指令代表的 16 种预定义任务之一（如移除对象或改变图像风格）。模型通过少量新样本微调嵌入层即可学习新任务。

Emu 基础模型

Emu 基础模型于今年早些时候在 Meta Connect 活动中发布，是一个基于 10 亿多图像-文本对预训练的潜在扩散模型。经过微调后，Emu 能够生成“高度视觉吸引力”的图像，人类评估者在 70% 以上的情况下更倾向于其输出，而非 Stable Diffusion XL。

数据集与训练

• Emu Video：使用 3400 万个视频-文本对进一步微调 Emu 基础模型，模型学会根据初始帧图像预测未来的视频帧。
• Emu Edit：创建了 1000 万个合成样本的训练数据集，使用 LLaMA、DINO、Segment Anything 和图像生成器等工具链生成图像-指令-输出对。

社区反应与开源问题

尽管 Meta 未开源这两款模型，但社区对其数据集创建方法表示赞赏。Meta 提供了 Emu Video 和 Emu Edit 的演示网站，并在 Huggingface 上发布了 Emu Edit 的基准测试数据集。

总结

Meta 的 Emu Video 和 Emu Edit 展示了生成式 AI 在视频生成和图像编辑领域的潜力。虽然这些模型尚不能替代专业艺术家和动画师，但它们为创意表达提供了新的工具，帮助用户以更直观的方式进行创作。