How Much, Then Where: Credit-Conserving Action-to-Token Allocation for Multi-Turn Agent Reinforcement Learning

📄 arXiv: 2608.07118v1 📥 PDF

作者: Lichao Ma, Yang Sun, Shuaitao Zhao, Yangyi Fang, Cong Qin, Xiaoliang Fu, Yuhang Tian, Yuchen Wei, Junbo Zhu, Yang Wei, Lu Pan, Jiaye Lin

分类: cs.AI

发布日期: 2026-08-07

💡 一句话要点

提出FACTOR以解决多回合强化学习中的信用分配问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 多回合强化学习 信用分配 时间差分学习 教师-学生模型 动作归一化 算法优化 智能代理 自动化决策

📋 核心要点

  1. 现有的多回合强化学习方法在信用分配上存在不足，难以有效分配动作和令牌的信用。
  2. FACTOR方法通过分离动作信用分配和令牌信用分配，利用TD残差和教师-学生模型的反馈机制来优化信用分配。
  3. 实验结果显示，FACTOR在多个环境中均表现优越，尤其在长时间跨度的任务中，提升显著且可迁移性强。

📝 摘要（中文）

在多回合代理强化学习中，信用分配在两个层面上进行：为动作分配轨迹级信用以及在每个动作的基础上分配其信用给具体的令牌。本文提出了FACTOR方法，分离了这两个决策过程。FACTOR利用检查点校准的时间差分（TD）残差为每个动作分配信用，并通过反馈条件的教师-学生似然差异在实现的动作令牌之间分配这些信用。每个动作的信用归一化保持了动作平均系数，防止了令牌级别的符号翻转。实验结果表明，FACTOR在ALFWorld、WebShop和ScienceWorld等环境中均优于竞争基线，尤其在长时间跨度的环境中表现出最大的提升。

🔬 方法详解

问题定义：本文旨在解决多回合强化学习中的信用分配问题，现有方法在为动作和令牌分配信用时存在效率低下和不准确的问题。

核心思路：FACTOR方法通过分离动作的信用分配和令牌的信用分配，利用检查点校准的TD残差为每个动作分配信用，并通过反馈条件的教师-学生模型来优化令牌的信用分配。

技术框架：FACTOR的整体架构包括两个主要模块：首先是基于TD残差的动作信用分配模块，其次是基于教师-学生模型的令牌信用分配模块。整个流程确保了动作和令牌之间的信用分配是独立且高效的。

关键创新：FACTOR的主要创新在于其分离的信用分配机制，避免了传统方法中动作长度对信用分配的隐式依赖，从而提高了信用分配的准确性和有效性。

关键设计：FACTOR在设计中采用了动作平均归一化，确保动作的信用分配不受令牌数量的影响。此外，使用的损失函数和网络结构经过精心设计，以最大化信用分配的效果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

FACTOR在ALFWorld、WebShop和ScienceWorld等多个环境中均优于竞争基线，尤其在长时间跨度的任务中，提升幅度显著。实验结果显示，FACTOR在所有环境-种子比较中均表现出色，且相同超参数在不同模型中无需重新调优。

🎯 应用场景

该研究的潜在应用领域包括智能代理、游戏AI、自动化决策系统等。FACTOR方法的有效性和可迁移性使其在多种复杂环境中具有实际价值，未来可能推动更高效的强化学习算法的发展。

📄 摘要（原文）

Credit assignment in multi-turn agent reinforcement learning operates at two levels: assigning trajectory-level credit to actions and distributing each action's credit across its tokens. In this paper, we introduce FACTOR, which separates these decisions. FACTOR uses checkpoint-calibrated TD residuals to assign per-action credits that telescope to the trajectory advantage, and feedback-conditioned teacher-student likelihood gaps to allocate each credit across the realized action tokens. Per-action normalization preserves the action-average coefficient and prevents token-level sign flips. We pair this construction with an action-mean reduction, removing the implicit dependence of an action's scalar surrogate weight on its token length. At the behavior policy and before clipping, each action's inner action-mean surrogate equals its TD credit. FACTOR consistently improves over competitive baselines across ALFWorld, WebShop, and ScienceWorld, with every environment-seed comparison favoring FACTOR and the largest gains emerging on the longest-horizon environment. The same hyperparameters transfer without retuning to a larger backbone and to a different model family. Ablations identify TD action credit as the dominant driver of the improvement, with hindsight token allocation contributing complementary gains.