Pretraining Knows What, Simulation Teaches How: Compositional Generalization in a Sim-Trained Robot Agent
作者: Benjamin Pikus, Daniel Saunders, Mircea Mironenco, Salman Mohammadi, Mathew Mathew, Sirou Zhu, Divya Makkar, Xuhua Huang, Qinbo Li, Supreeth Narasimhaswamy, Siyuan Cen, Thomas Neff, Dejia Xu, Shyamal Buch
分类: cs.RO, cs.AI, cs.CV, cs.LG
发布日期: 2026-10-26
💡 一句话要点
提出ZAP以解决机器人任务理解与执行问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 机器人控制 视觉-语言模型 任务理解 模拟训练 泛化能力 成本效益 自主决策
📋 核心要点
- 现有方法在机器人任务理解和执行方面存在不足，尤其是在缺乏真实数据的情况下。
- 论文提出的ZAP方法结合了预训练模型和模拟任务，通过简单的工具架构实现机器人控制。
- 实验结果显示，ZAP在真实任务中成功率达到96.7%，且在速度和成本上优于现有基线模型。
📝 摘要（中文）
机器人策略需要理解任务在场景中的要求，以及如何移动机器人以完成该任务。为此，我们提出了零真实代理策略（ZAP），该方法通过简单的工具架构教会一个小型的现成视觉-语言模型控制机器人。我们使用一个预训练的27B参数模型来引导世界理解和推理，随后通过监督微调和GRPO在简单的模拟任务上教会其如何移动机器人。在没有任何真实机器人数据的训练下，ZAP在真实世界任务中达到了96.7%的成功率，匹配了GPT-6 Astra，并且在运行速度上比GPT-6 Astra快3倍，成本低17倍。ZAP还展示了对全新对象、目标、策略和语言的泛化能力。进一步地，ZAP也能够迁移到未见的机器人形态上。
🔬 方法详解
问题定义：本论文旨在解决机器人在执行任务时对任务理解和动作执行的能力不足，尤其是在缺乏真实数据的情况下，现有方法难以有效训练机器人。
核心思路：ZAP方法通过结合预训练的视觉-语言模型与模拟任务，利用已知的世界理解能力来指导机器人如何完成任务，从而实现高效的学习和控制。
技术框架：ZAP的整体架构包括预训练模型的引导、监督微调和在模拟任务上的GRPO训练，主要模块包括视觉-语言模型、任务理解模块和动作执行模块。
关键创新：ZAP的核心创新在于其无须真实数据的训练方式，通过模拟环境实现对新任务的泛化能力，显著提升了机器人在复杂任务中的表现。
关键设计：在参数设置上，使用了27B参数的预训练模型，损失函数设计为适应多模态输入，网络结构则结合了视觉和语言信息的交互，以优化任务执行效果。
🖼️ 关键图片
📊 实验亮点
实验结果表明，ZAP在真实世界任务中达到了96.7%的成功率，超越了MolmoAct2 VLA（33.3%），并且在运行速度上比GPT-6 Astra快3倍，成本低17倍，展示了其在机器人控制领域的显著优势。
🎯 应用场景
该研究的潜在应用领域包括智能家居、工业自动化和服务机器人等，能够显著提升机器人在复杂环境中的自主决策和执行能力。未来，ZAP方法有望推动机器人技术在更多实际场景中的应用，提升人机协作的效率和安全性。
📄 摘要（原文）
A robot policy needs to understand what a task is asking for in a scene, and how to move the robot to accomplish that task. To achieve these two skills, we introduce Zero-real Agent Policy (ZAP), a recipe that teaches a small off-the-shelf vision-language model to control a robot via a simple tool harness. We use a pretrained 27B parameter model to bootstrap world understanding and reasoning, followed by supervised fine-tuning and GRPO on simple simulated tasks to teach it how to move the robot. Without any real-world robot data during training, ZAP reaches 96.7% success on real-world tasks, matching GPT-6 Astra in our harness and outperforming the MolmoAct2 VLA (33.3%), while running 3x faster and 17x cheaper than GPT-6 Astra. We demonstrate that ZAP also generalizes to completely new objects, goals, strategies, and language by seating a test tube in a rack (and choosing a different hole in the rack when prompted), handing a test tube between arms mid-air, drawing an X on a tic-tac-toe board, and playing chess. These goals and types of manipulation don't appear in our training data. Furthermore, ZAP also transfers to an unseen embodiment. On a single-arm Franka, ZAP reaches 55.9% on RoboLab-120, 4.9 percentage points ahead of the leading VLA/WAM baseline.