One Video, One World: Turning Monocular Video into Physical 4D Scenes
作者: Junhao Chen, Boran Zhang, Mingjin Chen, Henghaofan Zhang, Saining Zhang, Congcong Zhu, Hao Zhao, Ruqi Huang, Zhihao Li, Yufei Wang
分类: cs.CV
发布日期: 2026-06-30
备注: Accepted by ECCV 2026. Project Page: https://OneVideoOneWorld.github.io/
💡 一句话要点
提出OVOW以解决单目视频重建物理4D场景问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 单目视频重建 4D场景 物理模拟 实例分离 几何准确性 视觉-语言模型 深度学习 机器人导航
📋 核心要点
- 现有的4D重建方法在输出的拓扑和实例分离方面存在不足，无法满足物理模拟的需求。
- OVOW通过四阶段流程实现从单目视频到实例级4D网格的重建，且无需训练，具有较高的灵活性。
- 在两个合成基准测试中，OVOW在布局和几何准确性上表现最佳，且速度比基线快一到两个数量级。
📝 摘要（中文）
我们介绍了OVOW，这是第一个无需训练的系统，能够从单个单目视频重建实例级、适用于模拟的4D网格场景。尽管近期的4D重建在渲染质量上取得了显著进展，但其输出（如隐式场、高斯原语或点云）缺乏物理模拟和具身AI所需的密闭拓扑、实例分离和标准化物理接口。OVOW通过四个阶段的流程弥补了这一差距：视觉-语言模型发现、标记和运动分类所有实例；类别感知重建为刚性物体生成每实例网格，为可变形物体生成拓扑一致的网格序列；迭代渲染-匹配-优化过程恢复度量尺度和6自由度姿态轨迹；物理基础的组装确保地面接触和物体间支持。我们还建立了第一个结构化视频到4D评估基准，超越视觉保真度的几何正确性、实例分离和物理合理性指标。
🔬 方法详解
问题定义：本论文旨在解决从单目视频重建物理4D场景的挑战，现有方法输出的几何结构往往缺乏密闭性和实例分离，无法直接用于物理模拟。
核心思路：OVOW的核心思路是通过四个阶段的流程，利用视觉-语言模型和类别感知重建技术，直接从视频中提取和重建物理场景，避免了传统方法对类别特定先验和骨架绑定的依赖。
技术框架：OVOW的整体架构包括四个主要模块：1) 视觉-语言模型用于实例发现和分类；2) 类别感知重建生成刚性和可变形物体的网格；3) 迭代渲染-匹配-优化过程恢复尺度和姿态；4) 物理基础的组装确保物体间的支持和接触。
关键创新：OVOW的关键创新在于通过直接顶点变形建模所有运动，避免了对类别特定先验的依赖，生成了适合物理模拟的密闭网格场景。
关键设计：在设计中，OVOW采用了迭代优化策略，结合了损失函数以确保几何准确性和物理合理性，同时在网络结构上实现了高效的实例分离和重建。
🖼️ 关键图片
📊 实验亮点
在实验中，OVOW在两个合成基准（静态和4D）上实现了最佳的布局和几何准确性，且在光度和语义误差方面表现出最低的错误率。与基线相比，OVOW在单目视频运行速度上提升了一到两个数量级，且下游物理模拟验证了其物理稳定性。
🎯 应用场景
该研究的潜在应用领域包括机器人导航、虚拟现实和增强现实等，能够为物理模拟和具身AI提供高质量的场景重建，推动智能体在复杂环境中的交互能力。未来，OVOW有望在自动驾驶、游戏开发等领域发挥重要作用。
📄 摘要（原文）
We introduce \textbf{OVOW}, the first training-free system that reconstructs \emph{instance-level, simulation-ready} 4D mesh scenes from a single monocular video. Recent 4D reconstruction achieves impressive rendering quality, but its outputs (\eg, implicit fields, Gaussian primitives, or point clouds) lack the watertight topology, instance separation, and standardized physical interfaces required by physics simulators and embodied AI. OVOW closes this gap with a four-stage pipeline: a vision-language model discovers, labels, and motion-classifies all instances; category-aware reconstruction yields per-instance meshes for rigid objects and topology-consistent mesh sequences for deformable ones; an iterative render-match-optimize procedure recovers metric scale and 6-DoF pose trajectories; and physics-grounded assembly enforces ground contact and inter-object support. Crucially, we model all motion, rigid and non-rigid, through direct vertex deformation without category-specific priors or skeleton rigging, producing watertight mesh scenes ready for downstream physics simulation and editing. We further establish the first benchmark for \emph{structured Video-to-4D} evaluation, with metrics for geometric correctness, instance separation, and physical plausibility beyond visual fidelity; the same pipeline doubles as a scalable engine for \emph{synthesizing} paired video-to-4D simulation data for future 4D world models and embodied AI. Across two synthetic benchmarks (static and 4D), OVOW attains the best overall layout and geometry accuracy and the lowest photometric and semantic error among all baselines, and on monocular video runs one to two orders of magnitude faster than the baselines, while downstream physics simulation confirms its physical stability.