Future Dynamic 3D Reconstruction: A 3D World Model with Disentangled Ego-Motion

📄 arXiv: 2606.18250v1 📥 PDF

作者: Nils Morbitzer, Jonathan Evers, Artem Savkin, Thomas Stauner, Nassir Navab, Federico Tombari, Stefano Gasperini

分类: cs.CV

发布日期: 2026-06-16

备注: ICML 2026. Project page: https://fr3d-wm.github.io

💡 一句话要点

提出FR3D以解决动态环境未来重建问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics) 支柱七：动作重定向 (Motion Retargeting) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 动态环境重建 3D模型 自我运动解耦 教师-学生蒸馏 零-shot泛化 几何一致性 计算机视觉 自主代理

📋 核心要点

  1. 现有方法在长时间范围内预测动态环境时存在物理不一致性，如物体变形或消失。
  2. FR3D通过将场景的3D演变与代理的轨迹解耦，利用自我运动作为潜在代理，提升了几何一致性。
  3. 实验结果显示，FR3D在多个数据集上表现优异，能够从单目观察中进行未来动态3D重建，预测时间可达2秒。

📝 摘要（中文）

预测动态环境的演变对于自主代理至关重要。尽管生成世界模型在2D视频合成中通过混合自我运动和环境动态取得了高真实感，但在长时间范围内仍存在物理不一致性，如物体变形或消失。本文提出FR3D，一个预测持久3D潜在表示的世界模型，旨在实现未来动态3D重建。FR3D明确将场景的3D演变与代理的轨迹解耦，将推断的自我运动视为行动的潜在代理。这种解耦消除了自我运动与世界运动之间的模糊性，确保了未来的几何一致性。此外，我们引入了一种教师-学生蒸馏策略，利用现成基础模型的空间“常识”，实现了强大的零-shot泛化。大量实验表明，FR3D在多个数据集上从单目观察中进行未来动态3D重建的表现优异，甚至可以预测未来2秒的情况。

🔬 方法详解

问题定义：本文旨在解决动态环境中未来重建的物理不一致性问题。现有方法往往将自我运动与环境动态混合，导致在长时间预测中出现物体变形或消失等现象。

核心思路：FR3D的核心思路是将场景的3D演变与代理的轨迹明确解耦，利用推断的自我运动作为潜在代理，从而消除自我运动与世界运动之间的模糊性，确保几何一致性。

技术框架：FR3D的整体架构包括数据输入、3D潜在表示的生成、解耦处理、以及未来动态重建模块。通过教师-学生蒸馏策略，结合基础模型的空间常识，增强模型的泛化能力。

关键创新：FR3D的主要创新在于其解耦策略，明确区分自我运动与环境动态，这与现有方法的混合处理方式本质上不同，确保了更高的几何一致性。

关键设计：在模型设计中，FR3D采用了特定的损失函数来优化3D重建的几何一致性，同时在蒸馏过程中引入了基础模型的知识，以提升模型的鲁棒性和泛化能力。通过这些设计，FR3D能够在复杂动态环境中实现高质量的未来重建。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，FR3D在多个数据集上实现了显著的性能提升，能够从单目观察中进行未来动态3D重建，预测时间可达2秒。与基线模型相比，FR3D在几何一致性和重建质量上均表现出色，验证了其有效性和鲁棒性。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶、机器人导航和虚拟现实等。通过准确预测动态环境的演变，FR3D能够为自主系统提供更可靠的环境理解和决策支持，提升其在复杂场景中的表现。未来，该技术可能会在智能交通、智能家居等领域产生深远影响。

📄 摘要（原文）

Forecasting the evolution of dynamic environments is crucial for autonomous agents. While generative world models have recently achieved high photorealism in 2D video synthesis by mixing ego-motion and environmental dynamics within the image plane, they exhibit physical inconsistencies, such as morphing or vanishing objects, especially over long time horizons. In this paper, we propose FR3D, a world model that predicts a persistent 3D latent representation for future dynamic 3D reconstruction. Unlike prior works that treat the world as a sequence of image-based features, FR3D explicitly decouples the 3D evolution of the scene from the agent's trajectory, treating the inferred ego-motion as a latent proxy for action. This disentanglement resolves the ambiguities between self-motion and world-motion, ensuring geometric consistency into the future. Furthermore, we introduce a teacher-student distillation strategy that leverages the spatial "common sense" of off-the-shelf foundation models, leading to robust zero-shot generalization. Extensive experiments demonstrate FR3D's strong performance for future dynamic 3D reconstruction from monocular observations across multiple datasets, even 2 seconds into the future. Project page: https://fr3d-wm.github.io.