LaGSplat: Inferring Physics-Governed Interactive Simulation from Monocular Video Using Latent Lagrangian Gaussian Splatting
作者: Louen Pottier
分类: cs.CV, cs.LG
发布日期: 2026-08-17
备注: 25 pages, 11 figures, 4 tables. Project page with interactive demo: https://louenpottier.github.io/lagsplat.html
💡 一句话要点
提出LaGSplat框架以从单目视频推断物理驱动的交互式模拟
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 物理驱动模拟 单目视频 高斯点云 拉格朗日方法 实时渲染 交互式动态 机器人控制
📋 核心要点
- 现有方法在处理物理驱动的动态模拟时，通常需要大量的标注数据和复杂的传感器输入，限制了其应用范围。
- LaGSplat框架通过低维潜在状态同时作为拉格朗日坐标和高斯解码器的条件变量，实现了从单目视频中推断物理动态的能力。
- 实验结果表明，LaGSplat在刚性和可变形物体的模拟中表现优异，能够实时响应施加的任意大小和方向的力。
📝 摘要（中文）
我们提出了LaGSplat（潜在拉格朗日高斯点云），一个从一段或几段单目视频中推断交互式物理驱动动态的框架。在推断过程中，用户可以对拍摄的物体施加外部力，这些力在训练期间未被测量、注释或观察到。这是因为低维潜在状态起到了两重作用：它是学习的耗散拉格朗日的广义坐标，同时也是高斯点云解码器的条件变量。该解码器的归纳偏置使得施加在图像中的力能够转化为潜在的广义力，并进入运动方程。我们在不同难度的测试案例上验证了LaGSplat，展示了其在2D或3D中实时渲染物体响应的能力。
🔬 方法详解
问题定义：本论文旨在解决从单目视频中推断物理驱动的交互式动态模拟的问题。现有方法通常依赖于大量的标注数据和复杂的传感器输入，导致应用受限。
核心思路：LaGSplat框架的核心思想是利用低维潜在状态作为拉格朗日坐标和高斯解码器的条件变量，从而实现对未见外力的响应。通过这种设计，框架能够有效地将图像中的施加力转化为潜在的广义力。
技术框架：LaGSplat的整体架构包括两个主要模块：一是学习的耗散拉格朗日模型，二是高斯点云解码器。该框架通过结合单目视频和传感器测量，逐步推断物体的动态响应。
关键创新：LaGSplat的主要创新在于其低维潜在状态的双重角色，使得施加在图像中的外力能够有效地转化为运动方程中的广义力。这一特性是现有方法所无法实现的。
关键设计：在关键设计方面，LaGSplat采用了特定的损失函数来优化潜在状态的学习，同时高斯解码器的原语是与物体运动相结合的显式点，这一设计增强了模型的表现力和适应性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，LaGSplat在刚性和可变形物体的模拟中均取得了显著的性能提升。与基线方法相比，其在实时响应能力和动态准确性上均有明显改善，能够处理更复杂的交互场景。
🎯 应用场景
LaGSplat框架具有广泛的应用潜力，尤其在机器人控制、虚拟现实和动画制作等领域。通过实时推断物体的物理动态，该技术能够提升交互体验，并为复杂场景的模拟提供新的解决方案。未来，该研究可能推动更高效的物理模拟方法的发展。
📄 摘要（原文）
We present LaGSplat (Latent Lagrangian Gaussian Splatting), a framework that infers interactive, physics-governed dynamics from one or a few monocular videos. At inference it lets a user push on the filmed object, rigid or deformable, with an external force that was never measured, annotated, or seen during training. This is possible because a low-dimensional latent state $\mathbf{q} \in \mathbb{R}^d$ plays two roles at once: it is the generalised coordinate of a learned dissipative Lagrangian and the conditioning variable of a Gaussian Splatting decoder. The inductive bias of this decoder, whose primitives are explicit points $μ_i(\mathbf{q})$ that move with the object, is what lets a force $f$ applied in the image pull back into a latent generalised force $J(\mathbf{q})^\top f$ and enter the equations of motion, which pixel-space (CNN) or neural-field (NeRF) decoders cannot do. We validate LaGSplat on test cases of increasing difficulty, from rigid to deformable and from autonomous to forced real systems, combining monocular video and sensor measurements. We further demonstrate interactive use: forces of arbitrary magnitude and direction can be applied to the reconstructed object at any time, its response rendered in real time, in 2D or 3D. Assuming a dissipative Euler-Lagrange equation over a few generalised coordinates trades generality for a bounded, plausible response to unseen forces, where an unconstrained predictor diverges.