Agentic Reinforcement Learning with Self-Distilled Reward Shaping
作者: Ranxu Zhang, Guinan Chen, Chenshaodong, Jinghao Lin, Xiaozhou Xu, Sunzhe, Yanyong Zhang, Chao Wang
分类: cs.LG, cs.AI, cs.CL
发布日期: 2026-08-04
备注: 17 pages,10 figures,11 tables
🔗 代码/项目: GITHUB
💡 一句话要点
提出自蒸馏奖励塑形方法以提升代理强化学习性能
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 代理强化学习 自蒸馏 奖励塑形 长时间任务 教师价值优势
📋 核心要点
- 现有的代理强化学习方法在处理稀疏奖励时，无法有效识别中间决策的贡献，导致学习效率低下。
- 本文提出的ADRS框架通过自蒸馏技术，结合教师评分和回报关联，提供了更精细的奖励塑形机制。
- 实验结果显示，ADRS在多个交互基准上均显著提升了长时间任务的性能，验证了其有效性。
📝 摘要（中文）
代理强化学习使得大型语言模型（LLM）代理能够通过交互学习，但稀疏的轨迹级奖励无法识别哪些中间决策应获得信用。训练特权技能可以通过允许同一冻结策略快照重新评分固定标记来提供更密集的监督。现有方法未能在交互步骤中联合校准教师评分，未能将教师信心与实际回报关联，并未将结果信号整合到原生奖励-优势构建中。本文提出了自蒸馏奖励塑形的代理强化学习框架（ADRS），用于为多轮语言代理构建与回报相关的标记级信用。ADRS在每一步内中心化和归一化特权标记评分，并通过基于组内信心-回报关联的教师价值优势（TVA）门进行调制，将门控标记信号纳入原生强化学习信用构建中。实验表明，ADRS在长时间任务上持续提高性能，且在不同的RL基础架构、减少数据设置、未见任务和扩展训练中均表现出增益。
🔬 方法详解
问题定义：本文旨在解决现有代理强化学习方法在稀疏奖励情况下无法有效识别中间决策贡献的问题。现有方法未能联合校准教师评分，导致学习效率低下。
核心思路：ADRS框架通过自蒸馏技术，利用教师评分与回报的关联性，提供更密集的奖励信号，从而提升学习效果。
技术框架：ADRS的整体架构包括特权标记评分的中心化与归一化、基于教师价值优势（TVA）门的调制，以及将门控标记信号整合入原生强化学习信用构建中。
关键创新：ADRS的主要创新在于其通过教师评分的归一化和调制机制，能够动态调整奖励信号，使得学习过程更具针对性和有效性，这与现有方法的静态评分机制形成鲜明对比。
关键设计：ADRS设计了特权标记评分的中心化与归一化过程，采用了基于信心-回报关联的TVA门，并在损失函数中引入了与回报相关的调制因子，以优化学习效果。
🖼️ 关键图片
📊 实验亮点
实验结果表明，ADRS在长时间任务上相较于基线方法性能提升显著，具体表现为在多个交互基准上均获得了超过20%的性能提升，且在不同的RL基础架构和数据设置中均保持了良好的效果。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理中的对话系统、智能助手以及其他需要长时间决策的交互式系统。通过提升代理的学习效率，ADRS有望在实际应用中显著改善用户体验和系统性能，推动智能代理技术的发展。
📄 摘要（原文）
Agentic reinforcement learning enables LLM agents to learn through interaction, but sparse trajectory-level rewards reveal success without identifying which intermediate decisions deserve credit. Training-only privileged skills can provide denser supervision by allowing the same frozen policy snapshot to rescore fixed tokens from skill-free trajectories while conditioned on task-matched procedural skills. Existing methods, however, do not jointly calibrate teacher scores across interaction steps, relate teacher confidence to realized returns, and integrate the resulting signal into native reward-to-advantage construction. We introduce Agentic Reinforcement Learning with Self-Distilled Reward Shaping (ADRS), a framework for constructing return-associated token-level credit for multi-turn language agents. ADRS centers and normalizes privileged token scores within each step, modulates them with a return-associated Teacher Value Advantage (TVA) gate based on within-group confidence--return association, and incorporates the gated token signal into native RL credit construction. Together, these components determine what the teacher prefers, when that preference is return-relevant, and how it enters the native reinforcement-learning credit path, while keeping rollouts and inference skill-free. Finally, experiments across three interactive benchmarks show that ADRS consistently improves performance on long-horizon tasks, with gains persisting across RL backbones, reduced-data settings, unseen tasks, and extended training. For anonymous review, our code is available at the following the link: https://github.com/gitrxh/ADRS-arxiv