ReGRPO: Reflection-Augmented Policy Optimization for Tool-Using Agents

📄 arXiv: 2606.31392v1 📥 PDF

作者: Binjie Zhang, Mike Zheng Shou

分类: cs.AI

发布日期: 2026-06-30

🔗 代码/项目: GITHUB

💡 一句话要点

提出ReGRPO以解决工具使用代理的反射指导问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 工具使用代理 反射指导 多模态任务 强化学习 视觉语言模型

📋 核心要点

  1. 现有工具增强的视觉语言模型在实际应用中表现脆弱，缺乏有效的失败恢复机制。
  2. ReGRPO通过反射指导修正，利用近失行动收集失败数据，构建反思三元组以改善工具使用代理的决策能力。
  3. 在GTA和GAIA的实验中，ReGRPO在相同条件下超越了多个开源基线，展现出显著的性能提升。

📝 摘要（中文）

工具增强的视觉语言模型（VLMs）能够通过调用外部工具解决多模态、多步骤任务，但在实际应用中仍然脆弱。现有方法存在两个主要不足：监督微调（SFT）主要基于成功轨迹，缺乏对工具失败后的恢复信号，而稀疏的轨迹级强化学习奖励对失败步骤的指导有限。本文提出ReGRPO（反射增强的组相对策略优化），该框架通过反射指导修正工具使用代理的行为。ReGRPO首先执行近失行动以收集失败观察，并构建反思三元组（错误类型、证据、修正计划），然后在局部轨迹中联合优化反射标记和修正行动。实验结果表明，ReGRPO在相同的基础架构和工具套件下，始终优于强大的开源基线，并在比较的开源控制器中取得最佳结果。

🔬 方法详解

问题定义：本文旨在解决工具使用代理在执行多模态任务时的失败恢复问题。现有方法多依赖成功轨迹，缺乏对失败情况的有效反馈与修正机制。

核心思路：ReGRPO的核心思路是通过反射指导修正，利用近失行动收集失败观察，并构建反思三元组（错误类型、证据、修正计划），为后续的监督微调提供有效信号。

技术框架：ReGRPO的整体架构包括三个主要模块：反思数据引擎、反思标记优化和局部轨迹的联合优化。反思数据引擎负责收集失败数据，反思标记优化则通过优化反思标记和修正行动来提升决策质量。

关键创新：ReGRPO的创新在于引入反射指导修正机制，通过构建反思三元组来增强工具使用代理的学习能力，与传统方法相比，提供了更为细致的失败分析和修正策略。

关键设计：在设计上，ReGRPO引入了反思成本项，以减少不必要的反思，同时在损失函数中结合了组相对优势，以优化反思标记和修正行动的联合学习。具体的参数设置和网络结构细节在实验中进行了验证。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在GTA和GAIA的实验中，ReGRPO在相同的基础架构和工具套件下， consistently outperforming strong open-source baselines，展现出显著的性能提升，具体结果显示其在多个任务中均取得了最佳效果，验证了其有效性。

🎯 应用场景

ReGRPO的研究成果在多模态任务中具有广泛的应用潜力，尤其是在需要工具辅助的智能代理系统中。该方法能够提升代理在复杂环境中的决策能力，未来可应用于机器人、自动化客服、智能家居等领域，推动智能系统的自主学习与适应能力。

📄 摘要（原文）

Tool-augmented vision-language models (VLMs) can solve multimodal, multi-step tasks by calling external tools, yet they remain fragile in practice. Existing works have two common gaps. Supervised fine-tuning (SFT) is built mostly on successful trajectories and offers little signal for recovery after tool failures, while sparse trajectory-level RL rewards provide limited guidance on which step failed and how to repair it. We introduce ReGRPO (Reflection-augmented Group Relative Policy Optimization), a framework that learns reflection-guided correction in tool-using agents. ReGRPO starts with a structured reflective data engine: we execute near-miss actions to collect grounded failure observations, then build Reflection-of-Thought triplets (ErrorType, Evidence, FixPlan) paired with corrected actions for warm-start SFT. We then optimize reflection tokens and corrective actions jointly within local trajectories using group-relative advantages, and include a reflection-cost term to reduce unnecessary reflection. Experiments on GTA and GAIA show that, under the same backbone and tool suite, ReGRPO consistently outperforms strong open-source baselines and achieves the best results among the compared open-source controllers. Code and RoT data are available at https://github.com/showlab/ReGRPO.