Agent-G$^2$: Gaussian Guidance for Agentic Reinforcement Learning

📄 arXiv: 2608.23318v1 📥 PDF

作者: Zixuan Wang, Yanrui Miao, Zhengxi Lu, Teng Pan, Yiwen Qiu, Hongxing Li, Peng Qiu, Ruiqing Zhang, Yongliang Shen

分类: cs.AI, cs.CL

发布日期: 2026-08-24

备注: Code: https://github.com/ZJU-REAL/Agent-G2 ; Project page: https://zju-real.github.io/Agent-G2

💡 一句话要点

提出Agent-G²以解决长时间任务中的奖励稀疏问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 强化学习 高斯指导 奖励稀疏 智能体 策略优化 动态调整 长时间任务

📋 核心要点

  1. 现有的基于提示的强化学习方法在处理长时间任务时面临奖励稀疏性问题，且对指导深度的选择过于简单化。
  2. 本文提出的Agent-G²框架通过在线估计高斯分布的中心和扩展，动态调整每个任务的指导深度，提升了策略的探索效率。
  3. 在ALFWorld和WebShop的实验中，Agent-G²在多个基线模型上表现出显著的性能提升，验证了其有效性和优越性。

📝 摘要（中文）

基于提示的强化学习通过在每次回合前保留专家轨迹的前缀来应对长时间任务中的奖励稀疏性，使策略从更接近成功的状态进行探索。其有效性依赖于指导深度的选择，现有方法将其视为确定性标量，忽视了任务间的异质性。本文提出Agent-G²，一个高斯指导框架，根据任务从高斯分布中抽取深度，中心和扩展通过在线估计获得，无需额外的探测回合。实验结果表明，Agent-G²在ALFWorld上优于现有的基于提示和无提示的基线，且回合成本仅为每样本探测的三分之一。

🔬 方法详解

问题定义：本文旨在解决长时间任务中的奖励稀疏性问题，现有方法在选择指导深度时过于简单，未能有效利用任务间的异质性。

核心思路：Agent-G²框架通过从高斯分布中抽取指导深度，动态调整每个任务的深度，利用已收集的回合数据在线估计中心和扩展，从而提高策略的探索效率。

技术框架：该框架包括三个主要模块：1) 从专家轨迹中提取前缀；2) 在线估计高斯分布的中心和扩展；3) 基于估计的深度进行策略优化。

关键创新：Agent-G²的核心创新在于其高斯指导机制，允许在一个深度范围内进行探索，而不是集中在单一最佳点，这与现有方法形成鲜明对比。

关键设计：在设计中，中心结合了全局基线和每个集群的难度，扩展则跟踪集群内的方差，确保了指导深度的灵活性和适应性。实验中未使用额外的探测回合，降低了计算成本。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

在ALFWorld上，Agent-G²相较于最强的基于提示、无提示和Aux-RL基线分别提升了2.3、3.9和7.4分，且回合成本仅为每样本探测的三分之一，显示出其显著的性能优势。

🎯 应用场景

该研究的潜在应用领域包括机器人导航、游戏智能体和复杂决策系统等，能够有效提升这些领域中智能体的学习效率和表现。未来，Agent-G²框架可能会推动更多基于提示的强化学习方法的发展，促进智能体在动态环境中的适应能力。

📄 摘要（原文）

Hint-based reinforcement learning addresses reward sparsity in long-horizon agentic tasks by retaining a prefix of an expert trajectory before each rollout, letting the policy explore from a state closer to success. Its effectiveness hinges on the guidance depth: how much of the trajectory to keep. Existing methods treat this depth as a deterministic scalar. Scheduled approaches share one value across samples and ignore per-task heterogeneity; per-sample probing estimates it separately at the cost of extra rollouts. We find that useful guidance occupies a band of depths whose informativeness profile is approximately Gaussian around the band center, rather than concentrating at a single optimal point. We propose Agent-G$^2$, a Gaussian guidance framework that draws the depth per task from a Gaussian whose center and spread are estimated online from rollouts already collected for policy optimization, requiring no probe rollouts or learned depth predictor. The center combines a global baseline with per-cluster difficulty, and the spread tracks within-cluster variance. We evaluate Agent-G$^2$ on ALFWorld and WebShop on Qwen2.5-1.5B / 7B-Instruct. Agent-G$^2$ outperforms the strongest hint-based, hint-free, and Aux-RL baselines on ALFWorld by 2.3 / 3.9 / 7.4 points at under one-third the rollout cost of per-sample probing.