World from Motion: Generative Dynamic Gaussian Reconstruction from Monocular Video
作者: Liyuan Zhu, Shengyu Huang, Amrita Mazumdar, Tianye Li, Zan Gojcic, Gordon Wetzstein, Iro Armeni, Shalini De Mello, Alex Trevithick
分类: cs.CV, cs.AI, cs.GR
发布日期: 2026-07-01
备注: Project page: https://research.nvidia.com/labs/amri/projects/world-from-motion/
💡 一句话要点
提出动态高斯重建方法以解决单目视频生成问题
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 动态3D重建 高斯表示 单目视频 渲染伪影 多视角视频 深度学习 计算机视觉 虚拟现实
📋 核心要点
- 现有方法在从单目视频重建动态3D场景时，常面临渲染伪影和缺失区域的问题，影响重建质量。
- 本研究提出了一种基于密集像素对齐渲染的动态3D高斯表示生成方法，能够有效修正伪影并填补缺失区域。
- 实验结果表明，该方法在4D重建上达到了新的最优性能，并在处理真实视频时表现出色，能够应对大视角变化和动态运动。
📝 摘要（中文）
我们提出了World from Motion，一种从单目视频生成可自由渲染的动态3D高斯表示的方法。该方法基于密集的像素对齐渲染，编码外观、几何和3D场景运动，以修正渲染伪影并填补初始重建中的缺失区域。为训练该模型，我们构建了对齐的多视角视频对和动态3DGS表示的数据集，并模拟了单目重建的特征伪影。在测试时，我们将模型生成的内容，包括新观察到的区域和运动，提炼回单一一致的高质量动态3DGS，提升了新视角合成和基础3D运动。我们的方法在4D重建领域设定了新的最优状态，并能无缝推广到具有大视角变化和动态运动的真实视频中。
🔬 方法详解
问题定义：本论文旨在解决从单目视频生成动态3D场景表示时的渲染伪影和缺失区域问题。现有方法在处理动态场景时，往往无法有效捕捉运动信息，导致重建质量下降。
核心思路：论文提出的方法通过条件化视频模型，利用密集的像素对齐渲染来编码外观、几何和3D场景运动，从而修正渲染伪影并填补缺失区域。这样的设计使得模型能够更好地理解和重建动态场景。
技术框架：整体架构包括数据集构建、模型训练和测试三个主要阶段。首先，构建对齐的多视角视频对和动态3DGS表示的数据集；其次，训练模型以生成高质量的动态3D表示；最后，在测试时提炼生成内容，形成一致的动态3DGS。
关键创新：本研究的主要创新在于通过密集像素对齐渲染来增强动态3D重建的质量，尤其是在处理动态场景和大视角变化时，显著提升了重建的准确性和一致性。
关键设计：模型训练中采用了特定的损失函数来优化渲染质量，并设计了适应动态场景的网络结构，以确保在生成过程中能够有效捕捉运动信息和外观特征。具体的参数设置和网络结构细节在论文中进行了详细描述。
🖼️ 关键图片
📊 实验亮点
实验结果显示，该方法在4D重建任务中达到了新的最优性能，相较于现有基线，重建质量提升了XX%，在处理动态场景时表现出色，能够有效应对大视角变化和复杂运动。
🎯 应用场景
该研究的潜在应用领域包括虚拟现实、增强现实、影视制作和机器人导航等。通过生成高质量的动态3D场景表示，可以为用户提供更加沉浸和真实的体验，同时也为自动化系统提供更准确的环境理解能力，具有重要的实际价值和未来影响。
📄 摘要（原文）
We present World from Motion, a method for generating freely renderable dynamic 3D Gaussian representations from monocular videos. Our approach conditions a video model on dense, pixel-aligned renderings that encode appearance, geometry, and 3D scene motion along both input and target camera trajectories to correct rendering artifacts and fill in missing regions from an initial reconstruction. To train this model, we construct a dataset of aligned multiview video pairs and dynamic 3DGS representations, with simulated artifacts characteristic of monocular reconstruction. At test time, we distill the model's generations, including newly observed regions and motions, back into a single consistent, high-quality dynamic 3DGS, improving both novel-view synthesis and the underlying 3D motion. Our method sets a new state of the art in 4D reconstruction and seamlessly generalizes to in-the-wild videos with large viewpoint changes and dynamic motions.