CaPtain: A Pipeline for Post-Training Code-as-Policy Robot Agents

📄 arXiv: 2610.40799v1 📥 PDF

作者: Yijia Fan, Xilin He, Yilei Jiang, Dongming Wu, Jiaxu Wang, Xiangyu Yue

分类: cs.RO

发布日期: 2026-10-29

💡 一句话要点

提出CaPtain以解决小型开放视觉语言模型的机器人操作问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 代码作为策略 机器人操作 强化学习 视觉语言模型 后训练管道 物理评论者 低级感知 多轮学习

📋 核心要点

  1. 现有的CaP代理通常依赖于封闭模型或预训练的视觉语言行动模型，缺乏有效的训练机制。
  2. CaPtain通过后训练管道，将小型开放视觉语言模型转化为功能强大的CaP代理，避免了对高水平技能的依赖。
  3. CaPtain在LIBERO和SimplerEnv等任务中表现出色，成功率显著高于多种前沿模型，展示了其强大的适应能力。

📝 摘要（中文）

在编码、网页和工具使用任务中，语言模型代理通常通过监督微调（SFT）和多轮强化学习（RL）进行训练。本文提出的CaPtain将机器人操作视为代码生成，旨在将小型开放视觉语言模型转变为有效的代码作为策略（CaP）代理。CaPtain在没有高水平技能或特权状态的情况下，通过CaPtain-Harness进行训练和部署，展示了其在真实硬件和仿真中的低级感知和几何能力。实验结果表明，CaPtain在多个任务中超越了现有的前沿模型，展示了其在真实环境中的适应能力。

🔬 方法详解

问题定义：本文旨在解决现有CaP代理在训练过程中依赖封闭模型或高水平技能的问题，导致小型开放视觉语言模型无法有效执行机器人操作任务。

核心思路：CaPtain通过后训练管道，将小型开放视觉语言模型转化为CaP代理，利用低级感知和几何能力进行训练，避免了对高水平技能的依赖。

技术框架：CaPtain的整体架构包括两个主要阶段：首先通过SFT对基模型进行对齐，使用GPT-6 Astra生成的合成轨迹；然后应用多轮强化学习，利用物理评论者来评估每个请求的效果。

关键创新：引入物理评论者是CaPtain的核心创新，它能够读取特权的模拟器状态，从而为每个请求分配成功概率的变化，解决了多轮RL中请求效果延迟的问题。

关键设计：在训练过程中，CaPtain使用了Qwen3.5-4B模型，经过SFT后在LIBERO任务上达到了55.4%的成功率，经过RL后提升至73.8%。在没有目标领域训练的情况下，CaPtain在SimplerEnv WidowX上达到了83.3%的成功率。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

CaPtain在LIBERO任务中经过SFT后成功率达到55.4%，经过RL后提升至73.8%。在LIBERO-PRO任务中，成功率达到78.5%，超越了多种前沿模型。此外，CaPtain在SimplerEnv WidowX上也取得了83.3%的成功率，展示了其在真实环境中的强大适应能力。

🎯 应用场景

CaPtain的研究成果具有广泛的应用潜力，尤其是在机器人操作、自动化工具使用和智能家居等领域。通过将小型开放视觉语言模型转化为有效的操作代理，CaPtain能够在多种环境中实现高效的任务执行，推动机器人技术的普及和应用。

📄 摘要（原文）

Across coding, web, and tool-use tasks, language-model agents are now routinely trained with the same recipe: supervised fine-tuning (SFT) to learn the interface, then multi-turn reinforcement learning (RL) to master it. Code-as-policy (CaP) casts robot manipulation in the same form, as the policy writes code against robot APIs and reads back the results, so the same recipe should apply. Yet existing CaP agents sidestep training: they either prompt closed frontier models or delegate manipulation to pre-trained vision-language-action models (VLAs) and high-level skills, while small open vision-language models (VLMs) fail outright. We present CaPtain, an open post-training pipeline that turns a small open VLM into a capable CaP agent, with no VLA, frontier model, or privileged state at test time. CaPtain trains and deploys the policy inside CaPtain-Harness, which exposes low-level perception, geometry, and guarded-motion primitives across simulation and real hardware. We first align the base model via SFT on synthetic trajectories generated with GPT-6 Astra, then apply multi-turn RL. Multi-turn RL must credit tens of agent requests, whose physical effects often surface turns later, from a single end-of-episode outcome. We therefore introduce a physical critic that reads privileged simulator state, never seen by the policy, and credits each request by how much it changes the predicted chance of success. Starting from Qwen3.5-4B (0% zero-shot), CaPtain-4B reaches 55.4% held-out LIBERO success after SFT and 73.8% after RL. On LIBERO-PRO, it reaches 78.5%, surpassing several frontier-model agents, and its RL gains persist across three perturbation suites (+17.6 to +21.2 points). Without target-domain training, it attains 83.3% on SimplerEnv WidowX, exceeds frontier models on CaP-Bench, and runs on a real robot after simulation-only adaptation. We release all code, data, and model weights.