RAVEN: Rethinking Adversarial Video Generation with Efficient Tri-plane Networks
作者: Partha Ghosh, Soubhik Sanyal, Cordelia Schmid, Bernhard Schölkopf
分类: cs.CV, cs.LG
发布日期: 2024-01-11 (更新: 2024-08-11)
💡 一句话要点
提出RAVEN以高效生成长视频并解决时空依赖问题
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 视频生成 生成对抗网络 时空依赖 三平面表示 高效计算
📋 核心要点
- 现有视频生成方法在处理长时间空间和时间依赖性时效率低下，容易产生视觉伪影。
- 本文提出了一种基于混合显式-隐式三平面表示的生成模型，利用单一潜在编码高效生成视频。
- 实验结果表明，该模型在计算复杂度上比现有方法减少超过50%，生成高保真视频片段的能力显著提升。
📝 摘要（中文）
本文提出了一种新颖的无条件视频生成模型，旨在解决长时间空间和时间依赖性，同时关注计算和数据集效率。该方法结合了受三维生成框架启发的混合显式-隐式三平面表示，采用单一潜在编码来建模整个视频片段。通过从中间三平面表示合成单个视频帧，本文的方法在计算复杂度上相比最先进的技术减少了一半以上，从而实现高效且时间一致的视频生成。此外，集成光流模块的生成对抗网络（GAN）架构增强了模型的能力，使其能够合成高保真度的视频片段，分辨率达到256×256像素，时长超过5秒，帧率为30 fps。通过对三种不同数据集的定性和定量评估，验证了该方法的有效性和多样性。
🔬 方法详解
问题定义：本文旨在解决现有视频生成模型在处理长时间空间和时间依赖性时的效率低下和视觉伪影问题。现有方法通常依赖于自回归模型，导致生成过程缓慢且易出现伪影。
核心思路：提出的RAVEN模型通过引入混合显式-隐式三平面表示，利用单一潜在编码来建模整个视频片段，从而有效捕捉长时空依赖性并降低计算复杂度。
技术框架：该模型的整体架构包括潜在编码生成阶段、三平面表示构建阶段和视频帧合成阶段。首先，潜在编码用于生成三平面表示，然后从该表示中合成单个视频帧。
关键创新：RAVEN的核心创新在于其混合三平面表示的使用，这一设计使得模型在计算复杂度上相比现有方法减少了一半以上，同时提高了生成视频的质量和一致性。
关键设计：模型中采用的损失函数结合了生成对抗网络的损失和光流模块的损失，以补偿生成器规模较小带来的限制。网络结构设计上，生成器的大小经过优化，以确保在256×256像素分辨率下生成高保真视频片段。
🖼️ 关键图片
📊 实验亮点
实验结果显示，RAVEN在生成高保真视频方面表现优异，能够以256×256像素的分辨率生成超过5秒的视频，帧率达到30 fps。与现有最先进方法相比，其计算复杂度减少超过50%，显著提升了生成效率和视频质量。
🎯 应用场景
该研究的潜在应用场景包括电影制作、游戏开发、虚拟现实和增强现实等领域。通过高效生成长视频，RAVEN可以为内容创作者提供更便捷的工具，提升视频制作的效率和质量，未来可能在自动化视频生成和智能内容创作中发挥重要作用。
📄 摘要（原文）
We present a novel unconditional video generative model designed to address long-term spatial and temporal dependencies, with attention to computational and dataset efficiency. To capture long spatio-temporal dependencies, our approach incorporates a hybrid explicit-implicit tri-plane representation inspired by 3D-aware generative frameworks developed for three-dimensional object representation and employs a single latent code to model an entire video clip. Individual video frames are then synthesized from an intermediate tri-plane representation, which itself is derived from the primary latent code. This novel strategy more than halves the computational complexity measured in FLOPs compared to the most efficient state-of-the-art methods. Consequently, our approach facilitates the efficient and temporally coherent generation of videos. Moreover, our joint frame modeling approach, in contrast to autoregressive methods, mitigates the generation of visual artifacts. We further enhance the model's capabilities by integrating an optical flow-based module within our Generative Adversarial Network (GAN) based generator architecture, thereby compensating for the constraints imposed by a smaller generator size. As a result, our model synthesizes high-fidelity video clips at a resolution of $256\times256$ pixels, with durations extending to more than $5$ seconds at a frame rate of 30 fps. The efficacy and versatility of our approach are empirically validated through qualitative and quantitative assessments across three different datasets comprising both synthetic and real video clips. We will make our training and inference code public.