MV-Forcing: Long Multi-View Video Generation via 4D-Grounded Spatio-Temporal Self-Forcing
作者: Gal Fiebelman, Hadar Averbuch-Elor, Sagie Benaim
分类: cs.CV, cs.GR
发布日期: 2026-07-06
备注: Accepted to ECCV 2026. Project webpage: https://galfiebelman.github.io/mv-forcing/
💡 一句话要点
提出MV-Forcing以解决长多视角视频生成问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 长视频生成 多视角合成 动态场景 自回归模型 时空自强蒸馏 视频扩散模型 几何一致性 联合去噪机制
📋 核心要点
- 现有视频生成方法在长时间序列的多视角一致性生成上存在显著不足，无法有效处理动态场景。
- MV-Forcing框架通过引入4D几何桥，结合时间和视角自回归，解决了长多视角视频生成的问题。
- 实验结果表明，MV-Forcing在合成动态场景的多视角视频时，能够实现几何一致性，且生成长度和视角数量均可扩展。
📝 摘要（中文）
近年来，视频扩散模型的进展使得长单视角生成和短多视角合成成为可能。然而，生成动态场景的长多视角一致视频仍未解决。本文提出MV-Forcing框架，通过在单一扩散模型中引入4D几何桥，结合时间和视角自回归，解决了这一问题。关键在于自回归的3D重建模型能够自然地连接生成的视角。通过重建源视角的3D结构并渲染下一个目标视角的几何先验，扩散模型能够生成高质量视频。此外，采用联合去噪机制，使得生成超出固定时间窗口成为可能。通过时空自强蒸馏，缩小了训练与推理之间的偏差。实验表明，MV-Forcing能够生成几何一致的动态场景多视角视频，且视角数量和长度均可任意扩展。
🔬 方法详解
问题定义：论文要解决的具体问题是如何生成长时间序列的多视角一致视频，现有方法在处理动态场景时存在生成不一致和时间限制的痛点。
核心思路：论文的核心解决思路是通过引入4D几何桥，结合自回归的3D重建模型，使得生成的视角之间能够自然连接，从而实现长时间序列的多视角视频生成。
技术框架：整体架构包括一个扩散模型，首先生成源视角，然后通过3D重建生成目标视角的几何先验，最后利用扩散模型进行视频的高质量生成。
关键创新：最重要的技术创新点在于引入了联合去噪机制，使得视角生成不再受限于固定的时间窗口，且通过时空自强蒸馏缩小了训练与推理之间的偏差。
关键设计：在模型设计中，采用了特定的损失函数来优化生成质量，并设置了适当的参数以确保3D重建的准确性和生成视频的流畅性。具体的网络结构细节和训练策略也在论文中进行了详细描述。
🖼️ 关键图片
📊 实验亮点
实验结果显示，MV-Forcing在生成动态场景的多视角视频时，能够实现几何一致性，且在视角数量和生成长度上具有显著的灵活性。与基线方法相比，生成质量提升明显，具体性能数据在论文中有详细展示。
🎯 应用场景
该研究的潜在应用领域包括虚拟现实、影视制作、游戏开发等，能够为动态场景的多视角视频生成提供新的解决方案，提升用户体验和内容创作的效率。未来，该技术可能在自动化视频编辑和实时场景重建等领域发挥重要作用。
📄 摘要（原文）
Recent advances in video diffusion models have enabled either long single-view generation through temporal autoregression, or short multi-view synthesis through bidirectional attention. However, generating long, multi-view consistent videos of dynamic scenes remains unsolved. In this work, we present MV-Forcing, a framework that composes temporal and view-wise autoregression within a single diffusion model by introducing a 4D geometric bridge between sequentially generated views. Our key insight is that an autoregressive 3D reconstruction model naturally interfaces between autoregressively generated views. Given a completed source view, we reconstruct its 3D structure and render a geometric prior of the next target viewpoint, which the diffusion model refines into a high-quality video. To extend generation beyond the teacher's fixed temporal window, we introduce a joint denoising regime where both view slots are initialized from noise during training, enabling temporally unbounded generation. We distill the model via Distribution Matching Distillation with Spatio-Temporal Self-Forcing, closing the train-inference exposure bias gap for both temporal and view-sequential autoregression. Extensive experiments on both synthetic and real-world data demonstrate that MV-Forcing produces geometrically consistent multi-view videos of dynamic scenes at arbitrary lengths and viewpoint counts using a single few-step student model.