Keep Policy Gradient in Charge: Sibling-Guided Credit Distillation for Long-Horizon Tool-Use Agents
作者: Tianyu Ding, Jianhong Xin, Juan Pablo De la Cruz Weinstein
分类: cs.LG, cs.AI, cs.CL
发布日期: 2026-06-12
💡 一句话要点
提出Sibling-Guided Credit Distillation以解决长时间工具使用的强化学习问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 长时间工具使用 强化学习 信用分配 自蒸馏 动态采样 外部LLM 模型优化
📋 核心要点
- 现有的长时间工具使用强化学习方法在轨迹级优势传播上存在问题，导致有效技能和有害捷径的混合放大。
- 本文提出的SGCD方法通过动态采样和外部LLM总结对比，重新分配信用，避免了直接自蒸馏带来的负面影响。
- 在AppWorld和τ³-airline的实验中，SGCD在性能上显著优于匹配的GRPO对比，提升幅度明显。
📝 摘要（中文）
长时间工具使用的强化学习可以通过结果验证进行学习，但其轨迹级优势在多个推理、API和答案令牌之间传播。自蒸馏通过重用策略的自身回放或特权教师提供了更密集的信号。然而，直接的令牌级自蒸馏可能会无意中破坏工具使用，因为它在不知道验证者奖励哪些动作的情况下重复教师行为，从而同时放大有用技能和有害捷径。为此，本文提出了Sibling-Guided Credit Distillation（SGCD），该方法利用蒸馏进行信用分配，而不是作为竞争演员损失。动态采样生成成功和失败的兄弟回放；外部大型语言模型（LLM）将其对比总结为训练专用的逐步信用参考；密集的教师/学生差异驱动信用重新分配；有界的分离信用权重重塑GRPO令牌优势。部署的学生不接触外部LLM、兄弟证据或神谕。
🔬 方法详解
问题定义：本文旨在解决长时间工具使用的强化学习中，轨迹级优势传播导致有效技能与有害捷径混合放大的问题。现有的直接令牌级自蒸馏方法在这一过程中存在潜在的负面影响。
核心思路：SGCD方法通过动态采样生成成功与失败的兄弟回放，并利用外部LLM对其进行对比总结，从而实现更有效的信用分配，避免了直接自蒸馏的缺陷。
技术框架：SGCD的整体架构包括动态采样模块、外部LLM总结模块和信用重新分配模块。动态采样生成的兄弟回放为后续的信用分配提供了基础，外部LLM则负责总结对比信息，最终通过密集的教师/学生差异驱动信用重新分配。
关键创新：SGCD的主要创新在于将蒸馏用于信用分配，而非作为竞争演员损失，这一设计有效避免了直接自蒸馏带来的负面影响，确保了有用技能的保留。
关键设计：在SGCD中，动态采样的成功与失败回放的比例、外部LLM的总结方式以及信用权重的有界设计都是关键参数，这些设计共同确保了模型的有效性与稳定性。
🖼️ 关键图片
📊 实验亮点
在AppWorld和τ³-airline的实验中，SGCD方法显著提升了性能，AppWorld TGC从42.9提升至45.6，测试挑战从24.7提升至27.0，而τ³-airline的pass@1从0.583提升至0.602，显示出其在长时间工具使用中的有效性。
🎯 应用场景
该研究在长时间工具使用的强化学习领域具有广泛的应用潜力，尤其是在需要复杂决策和工具操作的任务中，如机器人控制、自动化系统和智能助手等。通过改进信用分配机制，SGCD能够提升智能体的学习效率和决策质量，未来可能推动更多实际应用的落地。
📄 摘要（原文）
Long-horizon tool-use reinforcement learning can learn from outcome verification, but itstrajectory-level advantage is broadcast across many reasoning, API, and answer tokens.Self-distillation promises a denser signal by reusing a policy's own rollouts or a privilegedteacher. We show, however, that direct token-level self-distillation can silently destroy tool use:it rehearses teacher behavior without knowing which actions the verifier rewards, so useful skillsand harmful shortcuts are amplified together. We introduce Sibling-Guided Credit Distillation(SGCD), which uses distillation for credit assignment rather than as a competing actor loss.Dynamic sampling produces mixed successful and failed sibling rollouts; an external LLM summarizestheir contrast into a training-only stepwise credit reference; dense teacher/student divergencedrives credit reassignment; and bounded detached credit weights reshape GRPO token advantages. Thedeployed student sees no external LLM, sibling evidence, or oracle. Across AppWorld and$\tau^3$-airline, SGCD improves over matched GRPO comparators: AppWorld TGC $42.9 \to 45.6$ ontest_normal and $24.7 \to 27.0$ on test_challenge, and $\tau^3$-airline pass@1 $0.583 \to 0.602$.