VICT: Verifier-Instrumented Credit Tracing for Long-Horizon LLM Agent Reinforcement Learning

📄 arXiv: 2608.28128v1 📥 PDF

作者: Pengcheng Li, Zhengyang Zhang, Dongxu Zhang, Sui Huang, Shaohua Ma

分类: cs.LG, cs.AI

发布日期: 2026-08-28

备注: accepted by EMNLP2026

💡 一句话要点

提出VICT以解决长时间跨度LLM代理的细粒度信用分配问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 长时间跨度强化学习 细粒度信用分配 验证器接口 信用追踪 智能代理

📋 核心要点

  1. 现有方法在长时间跨度的强化学习中，往往依赖于稀疏的终端奖励，导致信用分配不够精细。
  2. VICT通过在训练时引入可执行的原子操作，利用验证器的内部结构追踪信用分配，提升了信用分配的准确性。
  3. 在ALFWorld和WebShop实验中，VICT显著优于传统的结果导向训练，展示了其在细粒度信用分配上的有效性。

📝 摘要（中文）

细粒度信用分配是长时间跨度LLM代理强化学习中的核心挑战。现有方法通常通过程序可验证的终端奖励来训练，但忽视了成功判断的内部任务结构。本文提出VICT（Verifier-Instrumented Credit Tracing），该方法在训练时提供可执行或证据支持的原子操作，并通过依赖有效的证明边将其追溯到动作。VICT在ALFWorld和WebShop上显著提升了训练效果，超越了仅基于结果的训练，并与近期的细粒度信用方法表现出强劲的性能。

🔬 方法详解

问题定义：本文旨在解决长时间跨度LLM代理强化学习中的细粒度信用分配问题。现有方法通常将成功判断视为标量奖励，忽视了其内部任务结构，导致信用分配不够准确。

核心思路：VICT的核心思想是利用验证器内部的检查机制，将可执行的原子操作与动作关联，从而实现更精确的信用追踪。这种设计使得信用分配不再依赖于传统的回放轨迹推断，而是直接从验证器的视角进行追踪。

技术框架：VICT的整体架构包括几个主要模块：首先是验证器接口，提供可执行的原子操作；其次是依赖有效的证明边，用于追踪信用分配；最后是训练时间的优势张量调整，确保在证据不完整或模糊时不进行信用分配。

关键创新：VICT的主要创新在于将信用分配的过程从回放侧推断转移到验证器侧追踪。这一转变使得信用分配更加精细，避免了对稀疏奖励的依赖。

关键设计：在参数设置上，VICT保持了原始的终端奖励，并在证据不完整时选择不进行信用分配。此外，VICT不需要学习的评论者、过程标签、分支回放或推理时的验证器访问，简化了训练过程。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

在ALFWorld和WebShop的实验中，VICT显著提高了训练效果，相较于传统的结果导向训练，性能提升幅度达到XX%（具体数据未知），并在与近期细粒度信用方法的对比中表现出色，验证了其有效性。

🎯 应用场景

该研究的潜在应用领域包括智能代理、自动化决策系统和复杂任务的强化学习。通过提高信用分配的精确性，VICT能够在多种长时间跨度的任务中提升代理的学习效率和表现，具有重要的实际价值和未来影响。

📄 摘要（原文）

Fine-grained credit assignment is a central challenge in reinforcement learning for long horizon LLM agents. Standard objectives often train from programmatically verifiable terminal rewards by broadcasting each sparse outcome to every action in a trajectory. Existing methods typically seek finer credit from the rollout side, constructing auxiliary trajectory signals or additional comparisons to estimate action importance. Although useful, these approaches still treat the verifier that judged success as a scalar reward, discarding its internal task structure. Our key insight is that many verifiable tasks already encode the relevant checks inside their terminal verifier. We propose VICT (VerifierInstrumented Credit Tracing), a training-time interface that exposes executable or evidence backed atoms and traces them back to actions through dependency-valid proof edges. VICT redistributes group-relative advantage only along those edges, shifting credit assignment from rollout-side inference to verifierside tracing. It preserves the original terminal reward, abstains when evidence is incomplete or ambiguous, and changes only the training-time advantage tensor, requiring no learned critic, process labels, branch rollouts, or inference-time verifier access. On ALFWorld and WebShop, VICT improves substantially over outcome-only training and achieves strong performance alongside recent fine-grained credit methods; ablations rule out dense atom rewards, final-commit credit, temporal proximity, and sparsity as sufficient explanations.