V-RAE: Rethinking Video Latent Spaces for Generation

📄 arXiv: 2608.13556v1 📥 PDF

作者: Minghui Guo, Shengqiong Wu, Hao Fei

分类: cs.CV

发布日期: 2026-08-13

备注: 26 pages, 8 tables, 13 figures, project page: https://v-rae.github.io/

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出V-RAE以优化视频生成的潜在空间

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视频生成 潜在空间 自编码器 语义表示 时间池化 生成模型 视频重建 未来视频预测

📋 核心要点

  1. 现有视频自编码器主要优化像素级重建，导致其潜在空间在高层语义组织上表现不足，限制了生成模型的能力。
  2. V-RAE通过冻结的视觉基础模型构建生成潜在空间，并引入轻量级时间池化模块以去除冗余，保留语义信息。
  3. 在K600和UCF101数据集上，V-RAE的生成效果显著优于传统方法，且收敛速度提高了6倍，展示了其在视频生成和预测中的潜力。

📝 摘要（中文）

潜在视频生成依赖于自编码器定义紧凑的空间，然而现有的视频自编码器在高层语义组织上存在局限。本文提出V-RAE，一个视频表示自编码器，通过冻结的视觉基础模型构建紧凑的生成潜在空间。轻量级的时间池化模块去除时间冗余，同时保留语义结构，视频解码器则从压缩特征中重建连续运动。V-RAE在视频重建、语义探测和类别条件生成等任务中表现优异，尤其在K600数据集上取得了2.13的rFVD，超越了所有评估的大规模预训练视频VAE。

🔬 方法详解

问题定义：本文旨在解决现有视频自编码器在高层语义组织和生成能力上的不足，尤其是在潜在空间的优化方面。现有方法主要关注像素级重建，导致生成模型的效果受限。

核心思路：V-RAE的核心思想是利用冻结的视觉基础模型来构建紧凑的生成潜在空间，并通过轻量级的时间池化模块去除时间冗余，从而保留重要的语义信息。

技术框架：V-RAE的整体架构包括三个主要模块：冻结的视觉基础模型用于特征提取，时间池化模块用于减少冗余，视频解码器用于从压缩特征中重建连续运动。

关键创新：V-RAE的主要创新在于引入了基于冻结语义表示的潜在空间构建方法，这与传统的像素重建优化方法有本质区别，能够更好地支持视频生成和预测。

关键设计：在设计中，V-RAE采用了轻量级的时间池化模块，确保在去除冗余的同时保留语义结构。此外，损失函数的设计也考虑了生成质量与重建质量的平衡，确保生成模型的有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

V-RAE在K600数据集上取得了2.13的rFVD，显著优于所有评估的大规模预训练视频VAE。同时，在UCF101数据集上，最佳变体的gFVD得分为117.86，展示了其在生成质量和收敛速度上的优势，收敛速度提高了6倍。

🎯 应用场景

V-RAE在视频生成和未来视频预测等领域具有广泛的应用潜力。其优化的潜在空间和高效的生成能力使其能够在视频内容创作、自动视频编辑以及智能监控等场景中发挥重要作用。未来，V-RAE还可能推动多模态学习和跨领域应用的发展。

📄 摘要（原文）

Latent video generation relies on autoencoders to define a compact space in which generative models operate. Although video autoencoder architectures have evolved substantially, their latent spaces are still optimized primarily for pixel-level reconstruction and provide limited high-level semantic organization. A reconstruction-optimal latent space, however, need not be well suited to generative modeling. We propose V-RAE, a video representation autoencoder that builds compact generative latents on top of frozen vision foundation model representations. A lightweight temporal pooling module removes temporal redundancy while preserving semantic structure, and a video decoder reconstructs continuous motion from the compressed features. We evaluate V-RAE with four representative frozen encoders on video reconstruction, semantic probing, and class-conditional generation. V-RAE achieves 2.13 rFVD on K600, outperforming all evaluated large-scale pretrained video VAEs. Its latents retain substantially more semantic information than conventional video tokenizer latents. Under matched generation settings, our best variant achieves gFVD scores of 117.86 and 19.16 on UCF101 and K600, respectively, while converging up to 6x faster}. We further show that reconstruction quality alone is insufficient to characterize generative utility and introduce tFVD, a temporal-coherence diagnostic that correlates more reliably with downstream generation quality. Beyond video generation, V-RAE also improves future video prediction on Cityscapes over the Wan 2.2 VAE latent space under matched prediction settings. Taken together, the experiments show that frozen semantic representations can support video reconstruction, generation, and predictive modeling. The project page: https://v-rae.github.io/.