Sora：OpenAI的新生成式AI模型

Sora是OpenAI推出的新型生成式AI模型，能够通过文本提示创建视频。该模型目前处于预览阶段，能够生成最长60秒的逼真视频，利用其对现实世界中事物存在方式的理解，并结合多个镜头，确保角色和风格的一致性。

主要功能与技术细节

• 视频生成：Sora能够创建高度详细的场景，包括复杂的相机运动和多个角色。
• 技术基础：Sora是一个扩散模型，起始点是一个类似静态噪声的视频，通过逐步去除噪声，最终生成视频。
• 数据处理：OpenAI将视频和图像表示为称为“补丁”的小数据单元集合，类似于GPT中的标记。通过统一数据表示方式，Sora能够在更广泛的视觉数据上进行训练，涵盖不同的持续时间、分辨率和宽高比。

关键技术突破

• 场景一致性：OpenAI解决了在Sora中保持主体一致性的问题，即使在主体暂时离开视野时也能保持视觉风格的一致性。这是通过让模型同时处理多帧来实现的，使其具备一定的预测和规划能力。

展示视频与局限性

OpenAI展示了多个使用Sora生成的视频，包括加州的淘金热历史画面、走在东京街头的时尚女性、雪地里玩耍的金毛犬等。然而，OpenAI也承认，某些生成的视频可能显示出物理上不可能的运动，例如在传送带上逆向行走的人，或沙子变成椅子并显示反直觉运动的视频。

安全与访问限制

目前，Sora尚未向公众开放，OpenAI正在努力提升其安全性。例如，拒绝包含极端暴力、色情内容、仇恨图像或侵犯第三方知识产权或名人隐私权的文本输入提示。为此，OpenAI正在与错误信息、仇恨内容和偏见等领域的专家合作，测试模型的限制。

安全措施

OpenAI计划将DALL-E-3的安全方法应用于Sora，并使用C2PA元数据来检测通过AI创建的视频。

市场竞争

Sora并非市场上第一个文本到视频生成AI模型，其他竞品包括Runway、Pika、Stability AI和Google Lumiere等。

评论与反馈

一些评论者指出，OpenAI展示的演示视频可能是经过精心挑选的，以展示模型的最佳表现。当尝试从非常具体的想法创建视频时，结果可能会大不相同。此外，初期用户创建的视频质量和细节可能较低。尽管如此，Sora在文本到视频生成领域的潜力和影响力仍然令人印象深刻。