Google发布视频生成大模型VideoPoet

Google Research最近发布了其视频生成大模型VideoPoet的研究成果。该模型基于Transformer架构，能够处理多种模态的输入和输出，并通过不同的Tokenizer实现多模态支持。VideoPoet在训练中使用了2万亿个token的文本、音频、图像和视频数据，并在人类评估中表现优于其他模型。

模型特点与任务能力

与许多使用扩散模型的图像和视频生成AI系统不同，VideoPoet采用Transformer架构，能够执行多种零样本生成任务，包括：

• 文本到视频
• 图像到视频
• 视频修复
• 视频风格迁移

在多项基准测试中，VideoPoet的表现与最先进的基线模型具有竞争力。Google表示，VideoPoet在生成高质量视频运动方面表现出色，展示了LLM在视频生成领域的潜力。未来，该框架有望支持“任意到任意”的生成任务，如文本到音频、音频到视频和视频字幕生成等。

与扩散模型的对比

尽管OpenAI的DALL-E是早期使用Transformer或LLM从文本生成图像的示例，但扩散模型（如Imagen和Stable Diffusion）很快成为图像生成的标准架构。近期，研究者也开始训练扩散模型生成短视频，例如Meta的Emu和Stability AI的Stable Video Diffusion。然而，Google选择回归Transformer架构，认为其能够复用LLM的基础设施和优化，并且支持多种模态和任务，而扩散模型则需要“架构变更和适配模块”来执行不同任务。

多模态支持与训练数据

VideoPoet的多模态支持依赖于一组Tokenizer，包括：

• 视频Tokenizer：MAGVIT-v2
• 音频Tokenizer：SoundStream
• 文本Tokenizer：T5的预训练文本嵌入

模型使用仅解码器的自回归Transformer生成token序列，这些token随后通过Tokenizer转换为音频和视频流。VideoPoet被训练用于执行八种不同任务，并使用了2万亿个token的训练数据，其中包括10亿个图像-文本对和2.7亿个视频。

模型的新兴能力

研究团队发现，VideoPoet通过串联多个操作展现出多种新兴能力，例如：

• 使用图像到视频功能为单张图像生成动画
• 应用风格化以添加视觉效果
• 生成长视频
• 保持一致的3D结构
• 根据文本提示应用相机运动

用户反馈与演示示例

在Hacker News的讨论中，有用户对VideoPoet的提示方式表示质疑，认为某些样本中频繁出现的“8k”后缀更像是“念咒”而非实际描述。VideoPoet的演示网站展示了多个模型输出示例，包括一个一分钟的短视频故事。

总结

VideoPoet展示了LLM在视频生成领域的强大能力，其基于Transformer的架构和多模态支持使其在多种任务中表现优异。尽管与扩散模型相比，Transformer架构在视频生成领域的应用仍处于早期阶段，但其潜力不容忽视。Google的研究为未来视频生成技术的发展提供了新的方向。