PhysCaP: Grounding Code-as-Policy Agent with Physics-Informed Exploration
作者: Chen-Yu Lin, Jing-Wen Chen, Hsueh-En Chang, Hung-An Chen, Sheng-Hsun Chang, Chi-Pin Huang, Fu-En Yang, Min-Hung Chen, Yi-Ting Chen, Yu-Chiang Frank Wang, Shao-Hua Sun
分类: cs.RO
发布日期: 2026-08-21
💡 一句话要点
提出PhysCaP以解决机器人操控中的物理属性推断问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 机器人操控 物理属性推断 主动感知 代码作为策略 双智能体设计
📋 核心要点
- 现有的视觉-语言-动作策略在机器人操控中依赖被动观察，无法有效推断物体的潜在物理属性，导致操控性能受限。
- PhysCaP通过引入物理知识探索层，增强了代码作为策略框架，支持主动的信息寻求和物理属性的提取。
- 实验结果显示，PhysCaP在真实桌面操控任务中表现优越，较少的交互次数和更短的执行时间实现了与现有方法相当的性能。
📝 摘要（中文）
我们提出了PhysCaP，一种基于物理知识的代码作为策略的智能体，用于机器人操控中的主动感知。现有的视觉-语言-动作策略在模仿演示方面表现出色，但依赖于被动观察，无法推断操控所需的潜在物理属性。PhysCaP通过交互增强了代码作为策略框架，加入了物理知识探索层，支持显式的信息寻求。它引入了无训练的物理属性提取模块，能够通过机器人本体感知估计物体的质量和刚度，而无需额外传感器。为了平衡探索成本和信息获取效率，PhysCaP采用双智能体设计：一个规划者决定何时探索和何时停止，另一个优先级者过滤不合理的交互并使用启发式优先级分数对剩余交互进行排序，从而实现高效的目标探索。我们在真实的桌面操控任务中评估了PhysCaP，结果表明，现有的被动和简单交互基线在物理属性隐藏时表现不佳或过度探索，而PhysCaP在较少的交互和减少的执行时间下实现了可比的性能。
🔬 方法详解
问题定义：本论文旨在解决机器人操控中对物体潜在物理属性（如质量和刚度）的推断问题。现有方法主要依赖被动观察，无法有效获取这些关键信息，导致操控性能不足。
核心思路：PhysCaP的核心思路是通过引入物理知识探索层，增强代码作为策略的框架，使智能体能够主动探索并获取物理属性信息，从而提升操控能力。
技术框架：PhysCaP整体架构包括两个主要模块：规划者和优先级者。规划者负责决定何时进行探索，优先级者则过滤不合理的交互并根据启发式优先级分数对有效交互进行排序。
关键创新：PhysCaP的关键创新在于无训练的物理属性提取模块，能够通过机器人本体感知直接估计物体的质量和刚度，避免了对额外传感器的依赖。
关键设计：在设计中，PhysCaP采用了双智能体结构，优化了探索策略和信息获取效率，确保了在不同任务场景下的灵活性和适应性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，PhysCaP在真实桌面操控任务中表现优越，较少的交互次数和更短的执行时间实现了与现有被动和简单交互基线相当的性能，显著提升了操作效率。
🎯 应用场景
该研究的潜在应用领域包括机器人操控、智能家居、自动化仓储等。通过提升机器人对物体物理属性的理解，PhysCaP能够在复杂环境中实现更高效的操作，具有广泛的实际价值和未来影响。
📄 摘要（原文）
We present PhysCaP, a Physics-Informed Code-as-Policy agent for active perception in robotic manipulation. While vision-language-action policies excel at imitating demonstrations, they rely on passive observation and fail to infer latent physical properties critical for manipulation. PhysCaP augments code-as-policy frameworks with a physics-informed exploration layer that enables explicit information-seeking through interaction. It introduces training-free physical property extraction modules that estimate object mass and stiffness from robot proprioception without additional sensors. To balance exploration costs and the efficiency of information obtained, PhysCaP employs a dual-agent design: a Planner that decides when to explore and when to stop, and a Prioritizer that filters implausible interactions and ranks the remainder using a heuristic priority score, enabling efficient, targeted exploration. We evaluate PhysCaP on real-world tabletop manipulation tasks (searching for hidden objects, detecting empty cans, and finding ripe avocados) and a simulated task in LIBERO. The results show that existing passive and naive interactive baselines either fail when physical properties are hidden or over-explore, whereas PhysCaP achieves comparable performance with fewer interactions and reduced execution time. Ablation studies further validate the effectiveness of the proposed physical property extraction modules. Project page: https://physcap.github.io