Snap Video: Scaled Spatiotemporal Transformers for Text-to-Video Synthesis

📄 arXiv: 2402.14797v1 📥 PDF

作者: Willi Menapace, Aliaksandr Siarohin, Ivan Skorokhodov, Ekaterina Deyneka, Tsai-Shien Chen, Anil Kag, Yuwei Fang, Aleksei Stoliar, Elisa Ricci, Jian Ren, Sergey Tulyakov

分类: cs.CV, cs.AI

发布日期: 2024-02-22

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出Snap Video以解决视频生成中的运动保真度和可扩展性问题

🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation)

关键词: 视频生成 变换器架构 EDM框架 运动保真度 视觉质量 文本到视频 高效训练 多模态生成

📋 核心要点

  1. 现有的视频生成方法在运动保真度和视觉质量上存在显著不足，且难以扩展。
  2. 本文提出Snap Video，通过扩展EDM框架和引入新的变换器架构，系统性解决视频生成中的冗余问题。
  3. 实验结果表明，Snap Video在多个基准测试中表现优异，生成的视频质量和运动复杂性显著提升。

📝 摘要（中文）

当前生成图像的模型展现出卓越的质量和多样性，研究者们试图将其应用于视频生成。然而，简单地将图像模型的优势转移到视频生成领域会降低运动保真度、视觉质量并影响可扩展性。为此，本文提出了Snap Video，一个以视频为中心的模型，系统性地解决了这些挑战。我们扩展了EDM框架，以考虑空间和时间上的冗余像素，并自然支持视频生成。此外，我们提出了一种新的基于变换器的架构，其训练速度比U-Net快3.31倍，推理速度快约4.5倍。这使得我们首次能够高效训练具有数十亿参数的文本到视频模型，并在多个基准测试中达到最先进的结果，生成质量更高、时间一致性更强、运动复杂性更高的视频。

🔬 方法详解

问题定义：本文旨在解决当前视频生成模型在运动保真度、视觉质量和可扩展性方面的不足。现有方法往往无法有效处理视频内容的冗余性，导致生成效果不佳。

核心思路：我们提出Snap Video，一个以视频为中心的生成模型，扩展了EDM框架以考虑空间和时间上的冗余像素，同时引入基于变换器的架构以提高训练和推理效率。

技术框架：Snap Video的整体架构包括两个主要模块：首先是扩展的EDM框架，处理冗余像素；其次是新的变换器架构，优化训练和推理过程。

关键创新：最重要的技术创新在于引入了基于变换器的架构，使得模型在训练速度上比传统的U-Net快3.31倍，推理速度快约4.5倍，从而实现了高效的文本到视频生成。

关键设计：在模型设计中，我们对网络结构进行了优化，采用了适合视频生成的损失函数，并调整了关键参数设置，以确保生成视频的质量和一致性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

Snap Video在多个基准测试中取得了最先进的结果，生成的视频在质量、时间一致性和运动复杂性上显著优于现有方法。实验表明，该模型的训练速度比U-Net快3.31倍，推理速度快约4.5倍，用户研究显示其在用户偏好上也有显著优势。

🎯 应用场景

Snap Video的研究成果在多个领域具有广泛的应用潜力，包括影视制作、游戏开发、虚拟现实和增强现实等。其高效的视频生成能力可以大幅提升内容创作的效率，推动相关行业的发展。未来，该技术可能在自动化内容生成和个性化视频推荐等方面发挥重要作用。

📄 摘要（原文）

Contemporary models for generating images show remarkable quality and versatility. Swayed by these advantages, the research community repurposes them to generate videos. Since video content is highly redundant, we argue that naively bringing advances of image models to the video generation domain reduces motion fidelity, visual quality and impairs scalability. In this work, we build Snap Video, a video-first model that systematically addresses these challenges. To do that, we first extend the EDM framework to take into account spatially and temporally redundant pixels and naturally support video generation. Second, we show that a U-Net - a workhorse behind image generation - scales poorly when generating videos, requiring significant computational overhead. Hence, we propose a new transformer-based architecture that trains 3.31 times faster than U-Nets (and is ~4.5 faster at inference). This allows us to efficiently train a text-to-video model with billions of parameters for the first time, reach state-of-the-art results on a number of benchmarks, and generate videos with substantially higher quality, temporal consistency, and motion complexity. The user studies showed that our model was favored by a large margin over the most recent methods. See our website at https://snap-research.github.io/snapvideo/.