Action-Value Calibration via Continuation Sharing for Long-Horizon Agentic Reinforcement Learning

📄 arXiv: 2610.37195v1 📥 PDF

作者: Yingjian Chen, Lang Zhou, Zixin Zhao, Pingfan Li, Weishi Zheng, Zhilin Zhao

分类: cs.LG, cs.AI

发布日期: 2026-10-27

🔗 代码/项目: GITHUB

💡 一句话要点

提出ConCal以解决长时间序列强化学习中的信用分配问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 长时间序列强化学习 信用分配 延续值估计 动作价值校准 深度学习

📋 核心要点

  1. 现有的强化学习方法在长时间序列中难以有效分配信用，导致动作价值估计不准确。
  2. 本文提出ConCal，通过递归延续值估计，结合已有的延续证据来校准动作价值，减少对单一采样的依赖。
  3. 实验结果表明，ConCal在多个任务上显著提高了成功率，且在价值差异和参考动作排序上表现更佳。

📝 摘要（中文）

长时间序列的强化学习依赖于交互序列的反馈，这使得对单个动作的信用分配变得困难。现有方法如GiGPO通过比较共享状态下的动作来计算相对优势，但仅从单一采样的延续中估计每个动作的价值，导致局部信用对后续决策敏感。为了解决这一问题，本文提出了ConCal（延续校准），一种递归的延续值估计器，利用回滚批次中已有的延续证据。ConCal通过状态-动作-状态转移匹配同一任务的访问，将共享延续证据与每次访问的自身转移估计相结合，并向后传播校准值以细化早期的动作价值估计。实验结果显示，ConCal在ALFWorld和WebShop上分别比GiGPO提高了3.39和5.86个百分点的成功率。

🔬 方法详解

问题定义：本文旨在解决长时间序列强化学习中对单个动作信用分配的困难，现有方法如GiGPO在估计动作价值时过于依赖单一的采样延续，导致局部信用失真。

核心思路：ConCal通过递归延续值估计，利用回滚批次中的延续证据，结合状态-动作-状态转移信息，校准动作的价值估计，减少对个别采样的依赖。

技术框架：ConCal的整体架构包括三个主要模块：首先是状态-动作-状态转移的匹配，其次是共享延续证据的整合，最后是向后传播校准值以细化早期的动作价值估计。

关键创新：ConCal的创新在于其递归的延续值估计方法，能够有效整合来自同一任务的多个访问信息，显著降低了局部信用的失真，与传统方法相比具有本质区别。

关键设计：在参数设置上，ConCal采用了自适应的学习率和损失函数设计，以优化延续值的估计精度，网络结构上则结合了深度学习模型以增强对复杂状态转移的建模能力。

🖼️ 关键图片

fig_0

📊 实验亮点

实验结果显示，ConCal在ALFWorld和WebShop任务上分别比GiGPO提高了3.39和5.86个百分点的成功率，且在价值差异的误差和参考动作排序的一致性上表现更优，验证了其有效性。

🎯 应用场景

该研究的潜在应用领域包括机器人控制、自动驾驶、游戏AI等长时间序列决策任务。通过提高动作价值估计的准确性，ConCal能够在复杂环境中实现更高效的学习与决策，具有重要的实际价值和未来影响。

📄 摘要（原文）

Reinforcement learning for long-horizon agents relies on feedback from sequences of interactions, making credit assignment to individual actions difficult. Existing methods such as GiGPO compare actions at shared states to compute relative advantages, but estimate each action's value from a single sampled continuation. The resulting local credit remains sensitive to decisions made later in the trajectory. To address this problem, we propose ConCal (Continuation Calibration), a recursive continuation-value estimator that incorporates continuation evidence already present in a rollout batch. ConCal matches visits from the same task by their incoming state-action-state transitions, combines shared continuation evidence with each visit's own transition estimate, and propagates calibrated values backward to refine earlier action-value estimates. This reduces dependence on individual sampled continuations and mitigates local credit distortions without additional rollouts. Held-out return diagnostics show lower error in within-group value differences and higher agreement with reference action orderings than estimates based on individual continuations. With Qwen2.5-1.5B-Instruct, ConCal improves success rates over GiGPO by 3.39 and 5.86 percentage points on ALFWorld and WebShop, respectively. Our code is available at https://github.com/Yingjian-Chen/ConCal.