TRIAGE: Role-Typed Credit Assignment for Agentic Reinforcement Learning
作者: Yuanda Xu, Zhengze Zhou, Hejian Sang, Xiaomin Li, Jiaxin Zhang, Xinchen Du, Zhipeng Wang, Alborz Geramifard
分类: cs.LG, cs.AI
发布日期: 2026-06-30
💡 一句话要点
提出TRIAGE框架以优化代理强化学习中的信用分配问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 代理强化学习 信用分配 角色类型 结构化评判 优化算法 环境交互 成功率提升
📋 核心要点
- 现有的GRPO方法在信用分配上存在结构性不足，导致对有用探索的惩罚和对冗余动作的强化。
- TRIAGE框架通过引入角色类型的信用分配，优化了结果信用的结构，改善了信用分配的准确性。
- 在ALFWorld、Search-QA和WebShop等任务中，TRIAGE显著提高了成功率，并减少了环境交互的回合数。
📝 摘要（中文）
代理强化学习需要为环境交互行为分配信用，现有的GRPO方法使用最终验证结果作为所有动作的统一优势信号，但这种信号在结构上是不完整的，导致对有用探索的惩罚和对冗余动作的强化。本文提出TRIAGE，一个角色类型信用分配框架，通过引入语义角色轴来优化结果信用。结构化的评判者将每个阶段分类为决定性进展、有用探索、无进展基础设施或回归，并通过固定的角色条件规则将这些标签映射到有界的阶段级过程奖励。实验结果表明，TRIAGE在多个任务上显著提高了成功率，并减少了环境交互的回合数。
🔬 方法详解
问题定义：本文旨在解决代理强化学习中信用分配的不足，现有方法GRPO在使用最终验证结果时未能有效区分有用探索与冗余动作，导致优化效果不佳。
核心思路：TRIAGE框架通过引入角色类型的信用分配，利用结构化评判者对每个阶段进行分类，从而为不同类型的行为分配不同的奖励，优化了信用分配的准确性。
技术框架：TRIAGE的整体架构包括角色类型的定义、结构化评判者的设计以及固定角色条件规则的应用。评判者对每个阶段进行分类，并将其映射到相应的奖励信号。
关键创新：最重要的创新在于引入了角色类型的信用分配机制，使得信用分配不仅依赖于最终结果，还考虑了行为的语义角色，从而有效纠正了现有方法的盲点。
关键设计：在设计中，使用了固定的角色条件规则来映射评判者的分类结果，并通过这种方式减少了优势估计误差。此外，评判者的可靠性直接影响到信用分配的准确性。实验中还展示了角色类型的检测对成功轨迹中的回归行为的有效识别。
🖼️ 关键图片
📊 实验亮点
实验结果显示，TRIAGE在ALFWorld、Search-QA和WebShop任务中，相较于GRPO显著提高了成功率，并在ALFWorld和WebShop的完成回合中，分别减少了环境交互的回合数10.4%和14.8%。这些结果表明，角色类型的信用分配机制在提升学习效果方面具有显著优势。
🎯 应用场景
TRIAGE框架在代理强化学习中的应用潜力巨大，特别是在需要复杂环境交互的任务中，如机器人导航、自动驾驶和人机交互等领域。通过优化信用分配，TRIAGE能够提高智能体的学习效率和决策质量，推动智能体在动态环境中的表现。未来，该框架还可能扩展到其他领域，如游戏AI和推荐系统。
📄 摘要（原文）
Agentic reinforcement learning requires assigning credit to environment-facing actions such as searches, clicks, edits, navigation commands, and object interactions. Standard GRPO uses the final verifier outcome as a uniform advantage over all action tokens. This outcome signal is useful but structurally incomplete: it punishes useful exploration in failed rollouts and reinforces redundant or regressive actions in successful rollouts. We propose TRIAGE, a role-typed credit assignment framework that adds a semantic role axis to outcome credit. A structured judge classifies each segment as decisive progress, useful exploration, no-progress infrastructure, or regression, and a fixed role-conditioned rule maps these labels to bounded segment-level process rewards. This keeps verifier outcomes as the source of optimization direction while correcting the two main blind spots of outcome-only credit. We further show that role-conditioned credit is the optimal segment-level correction expressible from role labels alone -- a projection of the per-segment advantage residual onto the role variable -- so that the fixed role constants reduce advantage estimation error whenever the judge is reliable, and we connect this to lower-variance policy gradients. Across ALFWorld, Search-QA, and WebShop, TRIAGE improves success rates over GRPO for two policy models and outperforms both a scalar judge-derived process reward and an outcome-supervised shared-backbone value baseline. Ablations show that the gain comes from role typing rather than merely adding dense rewards: reliable detection of regression inside successful trajectories is the dominant contributor, while exploration credit provides a consistent secondary gain; on completed ALFWorld and WebShop rollouts, TRIAGE also reduces environment-facing turns by an additional $10.4\%$ and $14.8\%$ relative to GRPO.