Closing the Dynamics Gap through Self-Directed Robotic Interaction

📄 arXiv: 2611.02691v1 📥 PDF

作者: Xilun Zhang, Liam Achenbach, Luis Pabon, Matthew Foutter, Marco Pavone

分类: cs.RO, cs.AI

发布日期: 2026-11-02

备注: Accepted to CoRL 2026 Late Breaking Results. Project website: https://cue-dynamics.github.io/

💡 一句话要点

提出CUE以解决动态差距问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 动态建模 自我导向交互 物理参数识别 机器人学习 真实环境应用

📋 核心要点

  1. 现有的Agentic Real2Sim2Real系统无法通过观察动态交互来获取接触丰富的物理信息，导致动态差距问题。
  2. CUE系统通过与环境进行自我导向的交互，构建感知并识别物理参数，从而缩小动态差距。
  3. 在台球实验中，CUE在25种不同的物理条件下将球位误差减少了72%，并成功应用于真实环境中。

📝 摘要（中文）

Agentic Real2Sim2Real系统能够从相机观察中重建场景，但无法通过交互观察到摩擦和恢复等接触丰富的动态。我们称之为动态差距，并提出CUE，一个通过与环境互动来缩小这一差距的智能系统。该系统仅依赖高层指令，无需重置，能够构建自身感知，识别物理参数，并针对其模拟最不准确的交互进行目标设定。在台球实验中，CUE相较于最强基线在25种隐藏物理条件下减少了72%的球位误差，并进一步在真实的台球桌上进行了部署。

🔬 方法详解

问题定义：本论文旨在解决动态差距问题，即现有系统无法通过观察获得接触丰富的动态信息，如摩擦和恢复。现有方法在动态交互方面存在显著不足。

核心思路：CUE系统的核心思路是通过自我导向的交互来获取环境的动态信息，而不是依赖于外部重置或预设的物理模型。这样的设计使得系统能够在实际环境中自主学习和适应。

技术框架：CUE的整体架构包括感知构建模块、物理参数识别模块和目标交互模块。感知模块负责从相机观察中提取信息，物理参数模块识别环境的物理特性，而目标交互模块则选择最需要改进的交互进行实验。

关键创新：CUE的最大创新在于其自我导向的交互能力，使得系统能够在没有重置的情况下自主探索和学习，显著提高了动态信息的获取效率。与传统方法相比，CUE能够更好地适应复杂的物理环境。

关键设计：在设计上，CUE使用了特定的损失函数来优化物理参数的识别精度，并采用了深度学习网络结构来处理感知数据，确保系统能够实时响应环境变化。

📊 实验亮点

在实验中，CUE在25种隐藏物理条件下将球位误差减少了72%，相较于最强基线表现出显著的性能提升。此外，CUE成功在真实的台球桌上进行了部署，验证了其在实际应用中的有效性。

🎯 应用场景

该研究的潜在应用领域包括机器人操作、自动驾驶、虚拟现实等。通过缩小动态差距，CUE能够提升机器人在复杂环境中的自主决策能力，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Agentic Real2Sim2Real systems can reconstruct a scene in simulation from camera observations, but contact-rich dynamics such as friction and restitution cannot be observed without interaction. We call this the dynamics gap and present CUE, an agentic system that closes it by interacting with the environment itself. Given only a high-level instruction and no resets, the agent builds its own perception, identifies physical parameters, and targets interactions where its simulation is least accurate. On billiards, CUE reduces held-out ball-position error by 72% relative to the strongest baseline across 25 hidden-physics conditions in simulation, and we further deploy it on a real pool table. More details can be found on the project website: https://cue-dynamics.github.io/