Stable Diffusion背后的人工智能初创公司现在正在测试生成视频

开发商 Stability AI宣布，Stable Diffusion 的生成艺术现在可以动画化。该公司在研究预览版中发布了一款名为“稳定视频扩散”的新产品，允许用户从单个图像创建视频。该公司写道：“这种最先进的生成人工智能视频模型代表了我们为各种类型的每个人创建模型的旅程中迈出的重要一步。”

新工具以两个图像到视频模型的形式发布，每个模型都能以 576 × 1024 分辨率、每秒 3 到 30 帧的速度生成 14 到 25 帧。它能够从单帧进行多视图合成，并在多视图数据集上进行微调。该公司表示：“在以基础形式发布时，通过外部评估，我们发现这些模型在用户偏好研究中超越了领先的封闭模型。”并将其与文本到视频平台 Runway 和 Pika Labs进行了比较。

稳定视频扩散目前仅可用于研究目的，不适用于现实世界或商业应用。Stability AI 写道，潜在用户可以注册加入候补名单，以获得“即将推出的具有文本到视频界面的网络体验”。该工具将展示广告、教育、娱乐等领域的潜在应用。

上面视频中显示的样本似乎质量相对较高，与竞争对手的生成系统相匹配。然而，该公司写道，它有一些局限性：它生成相对较短的视频(不到 4 秒)，缺乏完美的真实感，除了慢摇镜头外无法进行相机运动，没有文本控制，无法生成清晰的文本，并且可能无法正确生成人物和面孔。

该工具在包含数百万个视频的数据集上进行了训练，然后在较小的数据集上进行了微调，Stability AI 仅表示它使用了可公开用于研究目的的视频。鉴于 Stability AI 最近因窃取其图像档案而被 Getty Images 起诉，数据集的来源很重要。

视频是生成式人工智能的一个关键目标，因为它具有简化内容创建的潜力。然而，它也是一种最有可能因深度造假、侵犯版权等而被滥用的工具。TechCrunch指出，与 OpenAI 的 ChatGPT 产品不同，Stability 在其 Stable Diffusion 产品商业化方面不太成功，并且现金消耗率很高。上周，Stability AI 音频副总裁 Ed Newton-Rex因使用受版权保护的内容来训练生成而辞职。