SGR-OPSD: Learning from Subgoal Plans with Graph-Regularized Credit Assignment for Agentic Reinforcement Learning

📄 arXiv: 2611.02414v1 📥 PDF

作者: Shu Liu, Yang Chong, WenShi Chen, Man Lan

分类: cs.AI

发布日期: 2026-11-02

备注: 16 pages, 4 figures

💡 一句话要点

提出SGR-OPSD以解决现有OPSD方法的任务进展规划不足问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 强化学习 子目标规划 信用分配 图正则化 任务进展反馈

📋 核心要点

  1. 现有的OPSD方法在任务进展规划上存在不足，无法有效反映真实的任务进展。
  2. SGR-OPSD框架结合了子目标监督与基于交互的证据，采用KL正则化目标进行信用分配。
  3. 在ALFWorld、WebShop和Search-QA上进行评估，SGR-OPSD在成功率上较GRPO提升了最多7.4个百分点。

📝 摘要（中文）

OPSD通过特权信息反馈为代理强化学习提供了密集的监督。然而，现有的特权信息往往缺乏明确的任务进展规划，而教师-学生的对数概率差异反映的是模型偏好的变化而非真实的任务进展。为了解决这些局限性，我们提出了子目标引导的图正则化OPSD（SGR-OPSD）框架，该框架结合了子目标监督和基于交互的证据进行逐回合的信用分配。具体而言，SGR-OPSD使用大型语言模型生成的子目标计划提供密集的动作级指导，通过受限的KL正则化目标将其转换为优势权重。为了将信用与观察到的结果相结合，我们构建了一个子目标进展图，以估计从采样转移频率获得的经验回报。该图将经验动作回报与状态平均值进行比较，以推导出校准教师信用权重的偏好。

🔬 方法详解

问题定义：论文旨在解决现有OPSD方法在任务进展规划方面的不足，现有特权信息无法有效指导代理的学习过程。

核心思路：SGR-OPSD通过引入子目标监督和图正则化的信用分配机制，提供更为精确的任务进展反馈，从而提升代理的学习效率。

技术框架：SGR-OPSD的整体架构包括子目标生成模块、信用分配模块和进展图构建模块。子目标生成模块利用大型语言模型生成子目标计划，信用分配模块通过KL正则化目标将子目标转化为优势权重，进展图构建模块则用于估计经验回报并校准教师的信用权重。

关键创新：SGR-OPSD的核心创新在于将子目标监督与图正则化的信用分配相结合，显著提高了代理在复杂任务中的学习能力，与传统方法相比，提供了更为细致的任务进展反馈。

关键设计：在设计中，采用了KL正则化损失函数以确保优势权重的稳定性，并通过构建子目标进展图来量化经验回报，确保信用分配的准确性。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

在实验中，SGR-OPSD在ALFWorld、WebShop和Search-QA上均表现优异，成功率较GRPO提升了最多7.4个百分点，ALFWorld的成功率达到了85.8%。这些结果表明SGR-OPSD在复杂任务中的有效性和优势。

🎯 应用场景

该研究的潜在应用领域包括智能机器人、自动驾驶、游戏AI等需要复杂决策的场景。通过提供更为精确的任务进展反馈，SGR-OPSD能够显著提升代理的学习效率和决策能力，具有广泛的实际价值和未来影响。

📄 摘要（原文）

OPSD provides dense supervision for agentic reinforcement learning through privileged information feedback. However, existing privileged information often lacks explicit task-progression planning, while teacher-student log-probability gaps reflect shifts in model preference rather than true task progress. To address these limitations, we propose Subgoal-Guided Graph-Regularized OPSD (SGR-OPSD), a framework that combines subgoal supervision with interaction-derived evidence for turn-level credit assignment. Specifically, SGR-OPSD uses LLM-generated subgoal plans to provide dense action-level guidance, converting them into advantage weights via a constrained, KL-regularized objective. To ground credit in observed outcomes, we construct a Subgoal Progress Graph that estimates empirical returns from sampled transition frequencies. The graph compares empirical action returns against the state average to derive preferences that calibrate the teacher's credit weights. Evaluated on ALFWorld, WebShop, and Search-QA across two model scales (Qwen2.5-3B and 7B), SGR-OPSD consistently outperforms GRPO and strong self-distillation baselines, improving success rates over GRPO by up to 7.4 percentage points and reaching 85.8% on ALFWorld with Qwen2.5-7B. Ablation studies confirm that subgoal guidance and graph-based weight calibration are key to these performance gains.