Group-Graph Policy Optimization for Long-Horizon Agentic Reinforcement Learning

📄 arXiv: 2606.22995v1 📥 PDF

作者: Yunan Wang, Minghui Song, Zihan Zhang, Shaohan Huang, Haizhen Huang, Furu Wei, Weiwei Deng, Feng Sun, Qi Zhang

分类: cs.LG, cs.AI, cs.CL

发布日期: 2026-06-22

💡 一句话要点

提出G2PO以解决长时间跨度强化学习中的奖励稀疏问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 强化学习 长时间跨度 状态转移图 组聚合 优势估计 智能代理 多轮任务

📋 核心要点

  1. 长时间跨度的代理强化学习面临奖励稀疏和延迟的问题，现有方法在信用分配上仍然过于粗糙。
  2. 提出G2PO算法，通过将线性交互轨迹转化为全局状态转移图，利用组聚合状态值估计来降低方差。
  3. 在WebShop、ALFWorld和AppWorld等基准测试中，G2PO相比于最先进的基线提升了最高22.2%的成功率。

📝 摘要（中文）

基于组的强化学习（RL）在代理场景中显著提升了大型语言模型（LLMs）的表现。为了实现更细粒度的策略更新，近期的代理RL框架已从轨迹级训练转向步级训练。然而，长时间跨度的代理RL面临严重的奖励稀疏和延迟问题，反馈往往在数十个交互步骤后才出现。现有的步级框架虽然提高了训练的细粒度，但其信用分配仍然是粗粒度的，且将代理探索视为孤立的线性轨迹。这种过于简化的视角忽视了状态转移的内在图结构，导致状态值估计的高方差和短视的局部信用分配。为了解决这些瓶颈，我们提出了G2PO，一种针对多轮代理任务的新型组基RL算法。G2PO明确将线性交互轨迹转化为全局状态转移图，通过聚合不同轨迹中的相同观察，引入了组聚合状态值估计，减少了采样方差和轨迹依赖偏差。进一步地，我们将代理动作重新定义为状态节点之间的转移，并提出了一种以边为中心的优势估计策略。通过在整个图中全局标准化时间差分（TD）误差，G2PO明确识别并优先考虑推动任务进展的关键转移。

🔬 方法详解

问题定义：长时间跨度的代理强化学习面临奖励稀疏和延迟的问题，现有的步级训练方法在信用分配上仍然过于粗糙，无法有效利用状态转移的图结构。

核心思路：G2PO通过将线性交互轨迹转化为全局状态转移图，聚合相同观察以减少采样方差，并重新定义代理动作为状态节点之间的转移，从而实现更精确的优势估计。

技术框架：G2PO的整体架构包括状态转移图的构建、组聚合状态值估计、边中心的优势估计和全局标准化TD误差的模块，形成一个闭环的优化流程。

关键创新：G2PO的主要创新在于引入了组聚合状态值估计和边中心的优势估计策略，这与现有方法的线性轨迹处理方式形成了本质区别，能够更好地捕捉状态转移的复杂性。

关键设计：在参数设置上，G2PO优化了状态转移图的构建方式，损失函数设计上强调了全局标准化TD误差的应用，网络结构上则采用了图神经网络以增强状态间的关联性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在多个长时间跨度基准测试中，G2PO显著优于现有的提示基础和强化学习基线，成功率提升幅度最高达22.2%。这些实验结果表明，G2PO在处理奖励稀疏和延迟反馈方面具有显著优势，展示了其在实际应用中的潜力。

🎯 应用场景

该研究的潜在应用领域包括复杂任务的自动化决策、智能代理系统以及多轮对话系统等。通过提升长时间跨度任务的学习效率，G2PO能够在实际应用中显著提高智能体的表现，推动相关领域的技术进步。未来，该方法可能会影响更多基于图的强化学习研究，促进更复杂场景下的智能决策能力。

📄 摘要（原文）

Group-based Reinforcement Learning (RL) has significantly enhanced Large Language Models (LLMs) in agentic scenarios. To achieve finer-grained policy updates, recent agentic RL frameworks have shifted from trajectory-level to step-level training. However, long-horizon agentic RL suffers from severe reward sparsity and delay, as feedback is often deferred for dozens of interaction steps. While existing step-level frameworks refine training granularity, their credit assignment remains coarse-grained and still treats agent exploration as isolated, linear trajectories. This oversimplified perspective ignores the inherent graph structure of state transitions, leading to high-variance state-value estimation and myopic, localized credit assignment. To overcome these critical bottlenecks, we propose Group-Graph Policy Optimization (G2PO), a novel group-based RL algorithm tailored for multi-turn agentic tasks. G2PO explicitly transforms linear interaction trajectories into a global state-transition graph. By aggregating identical observations across different trajectories, we introduce group-aggregation state-value estimation that reduces sampling variance and trajectory-dependent bias. Furthermore, we redefine agent actions as transitions between state nodes and propose an edge-centric advantage estimation strategy. By globally standardizing Temporal Difference (TD) errors across the entire graph, G2PO explicitly identifies and prioritizes critical transitions that drive absolute task progress. Extensive experiments on representative long-horizon benchmarks-WebShop, ALFWorld, and AppWorld-demonstrate that G2PO substantially outperforms state-of-the-art prompt-based and RL baselines, achieving remarkable success rate improvements of up to 22.2% over GRPO.