CaP-X: A Framework for Benchmarking and Improving Coding Agents for Robot Manipulation
作者: Letian Fu, Justin Yu, Karim El-Refai, Ethan Kou, Haoru Xue, Huang Huang, Wenli Xiao, Guanzhi Wang, Dantong Niu, Fei-Fei Li, Guanya Shi, Jiajun Wu, Shankar Sastry, Yuke Zhu, Ken Goldberg, Linxi "Jim" Fan
分类: cs.RO, cs.AI
发布日期: 2026-07-05
💡 一句话要点
提出CaP-X框架以提升机器人操作中的编码代理性能
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 编码代理 机器人操作 视觉-语言-动作 自主控制 多轮交互 强化学习 仿真到现实 开放平台
📋 核心要点
- 现有的视觉-语言-动作方法在自主控制和机器人操作中存在有效性不足的问题，尤其是在复杂环境中的应用。
- CaP-X框架通过引入CaP-Gym和CaP-Bench，系统性地研究和评估代码作为策略的代理，结合感知和控制原语。
- 实验结果表明，使用人类设计的抽象可以显著提高性能，而通过多轮交互和结构化反馈等方法可以增强鲁棒性。
📝 摘要（中文）
“代码即策略”考虑了可执行代码如何补充数据密集型的视觉-语言-动作（VLA）方法，但其作为自主控制器在具身操作中的有效性仍未得到充分探索。我们提出了CaP-X，这是一个开放访问的框架，用于系统研究机器人操作中的代码作为策略代理。其核心是CaP-Gym，一个交互环境，代理通过合成和执行程序来控制机器人，组合感知和控制原语。在此基础上，CaP-Bench评估了前沿语言和视觉-语言模型在不同抽象、交互和感知基础上的表现。通过对12个模型的评估，CaP-Bench揭示了一个一致的趋势：性能随着人类设计的抽象而提高，但在去除这些先验时性能下降，暴露出对设计者支架的依赖。同时，我们观察到通过扩展代理的测试时计算，可以减轻这一差距，显著提高鲁棒性。我们的研究还提出了CaP-Agent0，一个无训练框架，在多个操作任务中恢复了人类水平的可靠性。我们进一步介绍了CaP-RL，展示了可验证奖励的强化学习如何提高成功率并实现从仿真到现实的转移。总之，CaP-X为推进具身编码代理提供了一个有原则的开放平台。
🔬 方法详解
问题定义：本论文旨在解决现有视觉-语言-动作方法在机器人操作中的有效性不足，尤其是在复杂任务中的自主控制能力。现有方法往往依赖于大量数据，缺乏灵活性和适应性。
核心思路：论文提出的CaP-X框架结合了代码作为策略的思想，通过合成和执行程序来控制机器人，旨在提高代理的自主性和灵活性。设计上强调了人类设计的抽象对性能的影响，并探索了如何通过增强计算能力来提升鲁棒性。
技术框架：CaP-X框架包括两个主要模块：CaP-Gym和CaP-Bench。CaP-Gym是一个交互环境，允许代理通过编程控制机器人；CaP-Bench则用于评估不同语言和视觉-语言模型的性能，涵盖多个抽象层次和交互方式。
关键创新：最重要的技术创新在于引入了代码作为策略的概念，并通过CaP-Bench揭示了人类设计的抽象对性能的显著影响。这与传统的依赖数据驱动的方法形成了鲜明对比。
关键设计：在设计中，论文强调了多轮交互、结构化执行反馈、视觉差异化、自动技能合成和集成推理等关键技术细节，这些设计显著提升了代理在低级原语上的鲁棒性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，使用人类设计的抽象时，代理的性能显著提高，且通过扩展计算能力，鲁棒性得到了显著增强。具体而言，CaP-Agent0在多个操作任务中达到了人类水平的可靠性，而CaP-RL则在仿真到现实的转移中成功率提高了显著幅度。
🎯 应用场景
该研究的潜在应用领域包括机器人操作、自动化制造、智能家居等。通过提升机器人在复杂环境中的自主操作能力，CaP-X框架有望推动智能机器人在实际应用中的广泛部署，提升工作效率和安全性。
📄 摘要（原文）
"Code-as-Policy" considers how executable code can complement data-intensive Vision-Language-Action (VLA) methods, yet their effectiveness as autonomous controllers for embodied manipulation remains underexplored. We present CaP-X, an open-access framework for systematically studying Code-as-Policy agents in robot manipulation. At its core is CaP-Gym, an interactive environment in which agents control robots by synthesizing and executing programs that compose perception and control primitives. Building on this foundation, CaP-Bench evaluates frontier language and vision-language models across varying levels of abstraction, interaction, and perceptual grounding. Across 12 models, CaP-Bench reveals a consistent trend: performance improves with human-crafted abstractions but degrades as these priors are removed, exposing a dependence on designer scaffolding. At the same time, we observe that this gap can be mitigated through scaling agentic test-time computation--through multi-turn interaction, structured execution feedback, visual differencing, automatic skill synthesis, and ensembled reasoning--substantially improves robustness even when agents operate over low-level primitives. These findings allow us to derive CaP-Agent0, a training-free framework that recovers human-level reliability on several manipulation tasks in simulation and on real embodiments. We further introduce CaP-RL, showing reinforcement learning with verifiable rewards improves success rates and transfers from sim2real with minimal gap. Together, CaP-X provides a principled, open-access platform for advancing embodied coding agents.