Learning 3D-Gaussian Simulators from RGB Videos
作者: Mikel Zhobro, Andreas René Geist, Georg Martius
分类: cs.GR, cs.AI, cs.CV, cs.LG, cs.RO
发布日期: 2026-07-05
💡 一句话要点
提出3DGSim以解决视频数据中物理交互学习问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 3D模拟器 物理交互 视频数据 深度学习 多视角学习 粒子动力学 逆渲染 时间一致性
📋 核心要点
- 现有学习型模拟器通常依赖深度信息和手工特征，限制了其在数据丰富环境中的可扩展性和泛化能力。
- 3DGSim通过直接从多视角RGB视频中学习物理交互，整合了3D场景重建、粒子动力学和视频合成，形成端到端的训练框架。
- 实验表明，3DGSim能够有效捕捉多种物理行为，并在未见的多体交互和新场景编辑中表现出良好的泛化能力。
📝 摘要（中文）
现实模拟在机器人和动画等应用中至关重要。尽管学习型模拟器能够从视频数据中捕捉现实物理，但通常需要深度信息、粒子轨迹等特权信息以维持空间和时间一致性。为了解决这些限制，本文提出了3DGSim，一个直接从多视角RGB视频中学习物理交互的3D模拟器。3DGSim将3D场景重建、粒子动力学预测和视频合成统一为一个端到端训练的框架，采用MVSplat学习基于粒子的3D场景表示，使用Point Transformer进行粒子动力学建模，并通过Temporal Merging模块实现一致的时间聚合。通过联合训练逆渲染和动力学预测，3DGSim将物理属性嵌入点状潜在特征中，从而捕捉多样的物理行为和真实的光照效果。
🔬 方法详解
问题定义：本文旨在解决从视频数据中学习物理交互的挑战，现有方法往往需要额外的深度信息和手工特征，限制了其在数据丰富环境中的应用。
核心思路：3DGSim通过直接从多视角RGB视频中学习物理交互，避免了对特权信息的依赖，采用端到端的训练方式来整合多个任务。
技术框架：整体架构包括MVSplat用于学习粒子基础的3D场景表示，Point Transformer用于粒子动力学建模，Temporal Merging模块用于时间一致性聚合，以及Gaussian Splatting用于生成新视角的渲染。
关键创新：3DGSim的主要创新在于将逆渲染和动力学预测联合训练，使得物理属性能够嵌入到点状潜在特征中，从而捕捉多样的物理行为。
关键设计：在设计中，采用了特定的损失函数来平衡逆渲染和动力学预测的训练目标，同时在网络结构上使用了Transformer架构以增强粒子间的交互建模能力。
🖼️ 关键图片
📊 实验亮点
实验结果显示，3DGSim在多种物理行为的捕捉上表现优异，相较于传统方法在泛化能力上提升了显著的性能，尤其是在未见的多体交互场景中，能够保持高质量的渲染效果。
🎯 应用场景
该研究的潜在应用领域包括机器人控制、虚拟现实、动画制作等。通过提供更真实的物理模拟，3DGSim能够提升这些领域中的交互体验和视觉效果，未来可能在游戏开发和影视特效制作中发挥重要作用。
📄 摘要（原文）
Realistic simulation is critical for applications ranging from robotics to animation. Learned simulators have emerged as a possibility to capture real world physics directly from video data, but very often require privileged information such as depth information, particle tracks and hand-engineered features to maintain spatial and temporal consistency. These strong inductive biases or ground truth 3D information help in domains where data is sparse but limit scalability and generalization in data rich regimes. To overcome the key limitations, we propose 3DGSim, a learned 3D simulator that directly learns physical interactions from multi-view RGB videos. 3DGSim unifies 3D scene reconstruction, particle dynamics prediction and video synthesis into an end-to-end trained framework. It adopts MVSplat to learn a latent particle-based representation of 3D scenes, a Point Transformer for particle dynamics, a Temporal Merging module for consistent temporal aggregation and Gaussian Splatting to produce novel view renderings. By jointly training inverse rendering and dynamics forecasting, 3DGSim embeds the physical properties into point-wise latent features. This enables the model to capture diverse physical behaviors, from rigid to elastic, cloth-like dynamics, and boundary conditions (e.g. fixed cloth corner), along with realistic lighting effects that also generalize to unseen multibody interactions and novel scene edits.