GaP: A Graph-as-Policy Multi-Agent Self-Learning Harness For Variational Automation Tasks
作者: Kaiyuan Chen, Shuangyu Xie, Letian Fu, Justin Yu, William Pacini, Sandeep Bajamahal, Hudson Kim, Jaimyn Drake, Daehwa Kim, Haoru Xue, Jonathan Francis, Christian Juette, Peter Schaldenbrand, Muhammet Yunus Seker, Ruwan Wickramarachchi, Uksang Yoo, Guanzhi Wang, Adithyavairavan Murali, Balakumar Sundaralingam, S. Shankar Sastry, Spencer Huang, Yuke Zhu, Linxi "Jim" Fan, Ken Goldberg
分类: cs.RO, cs.AI, cs.CL, cs.LG
发布日期: 2026-07-06
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
提出GaP以解决变异自动化任务中的可靠性问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 变异自动化 多代理系统 图结构策略 机器人编程 任务与运动规划 模块化技能库 内部仿真环境
📋 核心要点
- 现有的无模型策略在变异自动化任务中难以实现持久和可靠的执行，导致可靠性差距。
- 本文提出的GaP框架通过生成有向计算图，结合感知、规划和控制节点，优化任务执行过程。
- 在8个新的开放VA任务基准上，GaP的成功率显著高于传统基线，验证了其有效性。
📝 摘要（中文）
为了使机器人在商业和工业应用中可靠工作，本文探讨了代理编码系统的最新进展，结合可解释的机器人编程与无模型策略的开放世界适应性。我们关注于变异自动化（VA）任务，这类任务在物体几何形状和姿态上具有更大的变化。无模型策略在VA任务中往往难以弥补可靠性差距。基于任务与运动规划（TAMP）和机器人操作系统（ROS）的先前工作，我们提出了Graph-as-Policy（GaP），一个多代理编码工具，能够从模块化开放机器人技能库（MORSL）生成有向计算图。GaP通过生成内部仿真环境，平行排练不同图的任务实例，迭代优化图结构和参数，从而提高成功率和吞吐量。评估结果显示，GaP在8个新的开放VA任务基准上显著超越了基线表现。
🔬 方法详解
问题定义：本文旨在解决变异自动化任务中机器人执行的可靠性问题。现有的无模型策略在处理物体几何形状和姿态变化时，往往无法保证任务的持久性和可靠性，导致在商业和工业应用中的应用受限。
核心思路：论文提出的GaP框架通过生成有向计算图，结合感知、规划和控制节点，利用模块化开放机器人技能库（MORSL）来优化任务执行。该方法通过内部仿真环境的生成，使得不同图的任务实例可以并行排练，从而迭代优化图的结构和参数。
技术框架：GaP的整体架构包括三个主要模块：感知模块、规划模块和控制模块。感知模块负责获取环境信息，规划模块生成任务执行的计算图，控制模块则根据优化后的图进行任务执行。整个流程通过内部仿真环境进行迭代优化，提升任务成功率。
关键创新：GaP的核心创新在于将图结构作为策略，通过动态生成和优化计算图来适应变异自动化任务的需求。这一方法与传统的无模型策略相比，能够更好地处理任务中的不确定性和变化。
关键设计：在设计中，GaP采用了模块化的技能库，允许灵活组合不同的感知和控制策略。同时，损失函数的设计也考虑了任务成功率和执行效率的平衡，以确保优化过程的有效性。通过这些设计，GaP能够在复杂环境中实现高效的任务执行。
🖼️ 关键图片
📊 实验亮点
在8个新的开放VA任务基准上，GaP的成功率显著超越传统基线，具体表现为成功率提升超过20%。在仿真和真实世界的任务中，GaP均展现出优越的性能，验证了其在复杂任务中的有效性和可靠性。
🎯 应用场景
该研究的潜在应用领域包括工业自动化、服务机器人和智能制造等。通过提高机器人在变异自动化任务中的可靠性，GaP能够显著提升生产效率和安全性，推动机器人技术在更广泛场景中的应用。未来，GaP的框架也可能扩展到其他领域，如智能交通和无人机控制等。
📄 摘要（原文）
For robots to work reliably in commercial and industrial applications, can recent advances in agentic coding systems combine interpretable robot programming with the open-world adaptability of model-free policies? We focus on "Variational Automation" (VA), a class of tasks that have larger variations in object geometry and pose than fixed automation. Model-free policies often struggle to close the reliability gap for VA tasks, which must be executed persistently and reliably in commercial and industrial applications. Motivated by prior work on Task and Motion Planning (TAMP) and the Robot Operating System (ROS), we introduce Graph-as-Policy (GaP), a multi-agent coding harness that generates directed computation graphs with perception, planning, and control nodes from a Modular Open Robot Skill Library (MORSL). GaP then generates an internal simulation environment to rehearse task instances with different graphs in parallel to iteratively refine the graph structure and parameters to improve success rates and throughput. Evaluation with 8 new open VA task benchmarks, 4 in-simulation and 4 in real-world, suggests that GaP can achieve success rates that significantly outperform baselines. Details, code, and data can be found online: https://graph-robots.github.io/gap