PhysMani: Physics-principled 3D World Model for Dynamic Object Manipulation

📄 arXiv: 2607.01938 📥 PDF

作者: Peng Yun, Shouwang Huang, Hao Li, Jinxi Li, Jianan Wang, Bo Yang

分类: cs.RO, cs.AI, cs.CL, cs.CV, cs.LG

发布日期: 2026-07-05

💡 一句话要点

提出PhysMani以解决动态物体操控中的物理建模问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 动态物体操控 物理建模 3D世界模型 高斯速度场 动作策略模型 未来感知 机器人实验

📋 核心要点

  1. 现有的视觉-语言-动作模型在动态物体操控中面临准确3D几何建模和物理预测的挑战。
  2. PhysMani框架结合了物理原则的3D高斯世界模型和未来感知的动作策略模型，以提高动态预测的准确性。
  3. 在16个任务的动态操控基准上，PhysMani在仿真和真实世界实验中显示出优越的成功率。

📝 摘要（中文）

在非结构化的3D环境中，操控快速动态目标仍然是具身人工智能面临的挑战。现有的视觉-语言-动作模型和世界模型在准确的3D几何建模和物理意义上的预测方面存在不足。为此，本文提出了PhysMani框架，该框架结合了基于物理的3D高斯世界模型和未来感知的动作策略模型。世界模型通过在线优化学习无散度的高斯速度场，以实现快速且物理基础的未来动态预测。策略模型通过可学习的基于令牌的交叉注意力模块整合预测的3D场景未来动态。我们还引入了PhysMani-Bench，这是一个包含16个任务的动态操控基准，并在仿真和真实机器人实验中展示了优于强基线的成功率。

🔬 方法详解

问题定义：本文旨在解决在动态物体操控中，现有模型在3D几何建模和物理预测方面的不足，导致操控精度低下的问题。

核心思路：PhysMani框架通过结合物理原则的3D高斯世界模型与未来感知的动作策略模型，提供了一种新的动态预测方式，旨在提高操控的准确性和效率。

技术框架：该框架主要由两个模块组成：1) 物理原则的3D高斯世界模型，通过在线优化学习无散度的高斯速度场；2) 未来感知的动作策略模型，利用可学习的基于令牌的交叉注意力模块整合未来动态预测。

关键创新：最重要的创新在于引入了无散度的高斯速度场学习机制，使得动态预测更加物理基础，且通过交叉注意力模块有效整合未来动态信息。

关键设计：在模型设计中，采用了在线优化算法来更新高斯速度场，并设计了特定的损失函数以确保预测的物理一致性，同时在策略模型中引入了可学习的令牌机制以增强信息整合能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在PhysMani-Bench基准测试中，PhysMani在16个动态操控任务上表现出色，相较于强基线模型，成功率显著提升，具体数据未提供，但结果表明其在仿真和真实世界实验中均优于现有方法。

🎯 应用场景

该研究的潜在应用领域包括机器人操控、自动驾驶、虚拟现实等场景，能够显著提升机器人在复杂动态环境中的操作能力，具有重要的实际价值和广泛的未来影响。

📄 摘要（原文）

Manipulating fast and dynamically moving targets in unstructured 3D environments remains challenging for embodied AI. Existing visual-language-action models and world models struggle with accurate 3D geometry and physically meaningful forecasting. We propose PhysMani, a framework that couples a physics-principled 3D Gaussian world model with a future-aware action policy model. The world model learns a divergence-free Gaussian velocity field via online optimization for fast and physically grounded future dynamics prediction. The policy model integrates the predicted 3D scene future dynamics through a learnable token based cross-attention module. We introduce PhysMani-Bench, a dynamic manipulation benchmark with 16 tasks, and demonstrate a superior success rate over strong baselines in both simulation and real-world robot experiments.