Stability AI 发布 Stable Video Diffusion 模型

Stability AI 近日发布了 Stable Video Diffusion (SVD) 模型的代码和模型权重。SVD 是一个视频生成 AI 模型，能够在给定输入图像作为上下文的情况下，生成 25 帧分辨率为 576x1024 像素的视频。

模型背景与技术细节

SVD 模型基于 Stability AI 的 Stable Diffusion 文本到图像生成模型，并通过对高质量数据集进行额外的视频预训练和微调来实现视频生成。为了进行这些额外的训练，Stability AI 收集了一个名为 Large Video Dataset (LVD) 的数据集，包含 5.8 亿个视频片段，总时长达到 212 年。

尽管初始版本仅支持图像到视频生成，但 Stability AI 表示该模型可以适应多种视频生成任务，包括文本到视频和多视角（即 3D 对象）生成。公司还宣布了一个基于网络的文本到视频界面的等待名单。

模型许可与使用限制

SVD 模型目前仅限于研究用途。Stability AI 强调，该模型现阶段不适用于现实世界或商业应用，并呼吁用户提供有关安全性和质量的反馈，以帮助改进模型。

数据集构建与模型训练

Stability AI 在构建 SVD 时，首先收集并注释了大量视频数据。团队从原始视频中删除了运动不一致的部分（如“剪辑”）以及没有运动的视频。然后，他们使用图像描述模型、视频描述模型和大型语言模型（LLM）为每个视频片段生成了三种合成描述。此外，他们还使用 CLIP 提取了视频样本中选定帧的美学评分。

在大型数据集上训练基础视频扩散模型后，研究人员使用较小的精选数据集对特定任务模型进行微调，包括文本到视频、图像到视频、帧插值和多视角生成。他们还为图像到视频模型训练了 LoRA 相机控制模块。

模型评估与性能

在人类评估中，SVD 的图像到视频生成效果优于当前顶尖的商业产品 GEN-2 和 PikaLabs。多视角生成模型也超越了 Zero123 和 SyncDreamer 等先进模型。

未来发展方向

Stability AI 的 CEO Emad Mostaque 在 X 上表示，SVD 不仅具备通过 LoRA 进行相机控制的能力，还可以实现爆炸等特效。未来，该模型将支持场景创建中的其他元素，如布景、舞台、电影摄影等。

用户反馈与批评

在 Hacker News 的讨论中，有用户指出 SVD 方法存在缺陷，尤其是在光照处理和一致性方面。他们认为，未来的技术将允许用户描述场景并生成完整的 3D 模型，甚至可以直接在 Blender 中进行渲染。

模型资源

Stable Video Diffusion 的代码已在 GitHub 上发布，模型权重可通过 Huggingface 获取。