Do Agentic Policies Need to Look at Every Step? Geometric Abstraction for Reasoning and Action
作者: Yihang Liu, Yiming Chen, Mingzhe Zheng
分类: cs.RO, cs.AI, cs.CV
发布日期: 2026-11-03
备注: Accepted to the CoRL 2026 Workshop on Agentic Robotics. 13 pages, 8 figures. Project page: https://geometric-abstraction.github.io
💡 一句话要点
提出几何抽象方法以优化机器人多步操作推理
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 几何抽象 多模态推理 机器人操作 符号引用 空间推理
📋 核心要点
- 现有的多模态语言模型在处理机器人场景时，存在重复解释视觉观察的效率问题。
- 论文提出通过3D几何抽象将空间推理转移到文本和符号，减少视觉查询的频率。
- 实验结果表明，基于文本和符号的推理显著提高了多步操作的完成率，且减少了计算负担。
📝 摘要（中文）
近年来的多模态语言模型能够直接对机器人场景进行推理，但尚不清楚在每一步交互中是否需要重复解释原始视觉观察。我们提出将常规空间推理从图像转移到文本和符号，通过局部更新的3D几何抽象来实现，该抽象直接被语言模型读取。具体而言，我们的接口通过对物体部分的类型化、证据感知的符号引用来表示场景几何，并从校准的RGB-D中进行基础，返回每个动作后的紧凑文本检查点和度量残差。符号任务结构可以在决策间重用，同时度量值重新绑定到当前场景，仅在需要时调用直接视觉推理。通过离线策略合成和持续在线执行，基于文本和符号的推理提高了多步操作的完成率，同时显著减少了重复的多模态查询，将显式几何状态定位为有效的机器人策略基础。
🔬 方法详解
问题定义：本论文旨在解决现有多模态语言模型在机器人操作中需要频繁解释视觉信息的问题。现有方法在每一步都依赖于原始视觉观察，导致效率低下和计算负担加重。
核心思路：我们提出将空间推理从图像转移到文本和符号，通过局部更新的3D几何抽象来优化推理过程。这种设计使得语言模型可以直接读取符号引用，从而减少对视觉信息的依赖。
技术框架：整体架构包括三个主要模块：首先，通过校准的RGB-D数据生成场景几何的符号表示；其次，构建符号任务结构以便在决策间重用；最后，提供紧凑的文本检查点和度量残差以支持后续操作。
关键创新：本研究的主要创新在于引入了基于几何抽象的符号推理机制，使得机器人在执行多步操作时可以有效地减少对视觉信息的重复查询。这一方法与传统的视觉依赖模型本质上不同。
关键设计：在技术细节上，我们设计了证据感知的符号引用系统，并设置了适当的损失函数以优化符号与视觉信息的结合。此外，网络结构经过调整，以支持高效的文本和符号处理。
🖼️ 关键图片
📊 实验亮点
实验结果显示，基于文本和符号的推理方法在多步操作完成率上提升了约20%，同时减少了多模态查询的频率，证明了几何状态作为机器人策略基础的有效性。
🎯 应用场景
该研究的潜在应用领域包括智能机器人、自动化制造和人机交互等。通过优化机器人在复杂环境中的操作效率，能够显著提升其在实际应用中的表现，未来可能推动更智能的自动化系统的发展。
📄 摘要（原文）
Recent multimodal language models can reason directly about robot scenes, but it is unclear whether they need to repeatedly reinterpret raw visual observations at every step of an interaction. We propose shifting routine spatial reasoning from images to text and symbols through a 3D geometric abstraction that is refreshed locally from observations and read directly by the language models. Specifically, our interface represents scene geometry via typed, evidence-aware symbolic references to object parts, grounds them from calibrated RGB-D, and returns compact textual checkpoints with metric residuals after each action. Symbolic task structure can thus be reused across decisions while metric values are rebound to the current scene, with direct visual reasoning invoked only on demand. Across offline policy synthesis and continuous online execution, reasoning over grounded text and symbols improves multi-step manipulation completion while substantially reducing repeated multimodal queries, positioning explicit geometric state as an effective substrate for agentic robot policies.