Gated-BEPO: Confidence-Gated Bellman Credit Assignment for Large Language Model Agents
作者: Hongxi Yan, Ziyue Huang, Shichao Fan, Qingjie Liu
分类: cs.AI
发布日期: 2026-08-07
💡 一句话要点
提出Gated-BEPO以解决长时间环境中的信用分配问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 信用分配 长时间环境 贝尔曼固定点 经验回放图 广义优势估计 多模态学习 强化学习
📋 核心要点
- 现有方法在长时间环境中无法有效区分成功与失败轨迹中的动作信用，导致信用分配不准确。
- Gated-BEPO通过构建经验回放图并使用均值备份贝尔曼固定点来估计步骤级信用，从而提高信用分配的准确性。
- 在WebShop、ALFWorld和视觉Sokoban等实验中，Gated-BEPO在语言和视觉语言模型上均表现出一致的性能提升。
📝 摘要（中文）
在长时间环境中训练大型语言模型代理需要将稀疏终端结果的信用分配到单个动作。现有的无评论方法在步骤间均匀传播轨迹级奖励，而最近的方法通过匹配重复状态构建步骤级组并比较每组内的动作。前者无法区分失败轨迹中的有用动作与成功轨迹中的无效动作，后者依赖于直接从个体轨迹结果派生的步骤信用。本文提出Gated-BEPO，从经验回放图中推导步骤级信用。Gated-BEPO为每个回放组构建经验图，并通过反映当前策略经验动作分布的均值备份贝尔曼固定点来估计节点值。然后，使用广义优势估计沿每个采样轨迹累积这些时间差残差，得到捕捉即时和下游效应的步骤级贝尔曼优势。通过在多个观察到的后继状态下引入信心门，适应性地融合轨迹和步骤级信用。
🔬 方法详解
问题定义：本文旨在解决在长时间环境中如何将稀疏终端结果的信用有效分配到单个动作的问题。现有的无评论方法无法区分成功和失败轨迹中的动作效果，导致信用分配不准确。
核心思路：Gated-BEPO的核心思路是通过构建经验回放图来推导步骤级信用，并利用均值备份贝尔曼固定点来反映当前策略的经验动作分布，从而更准确地评估每个动作的价值。
技术框架：该方法的整体架构包括构建经验图、估计节点值、累积时间差残差以及通过信心门适应性地融合轨迹和步骤级信用。每个步骤都经过精心设计，以确保信用分配的有效性。
关键创新：Gated-BEPO的主要创新在于引入了信心门机制，使得贝尔曼信用仅在多个观察到的后继状态下被纳入，从而避免了均匀融合带来的信息损失。这一设计显著提高了信用分配的灵活性和准确性。
关键设计：在参数设置上，Gated-BEPO使用广义优势估计来累积时间差残差，并通过贝尔曼固定点进行节点值的估计。网络结构方面，采用了适应性融合机制，以确保在不同状态下的信用分配能够根据实际观察进行调整。
🖼️ 关键图片
📊 实验亮点
实验结果表明，Gated-BEPO在WebShop、ALFWorld和视觉Sokoban等任务上均实现了显著的性能提升，尤其是在语言和视觉语言模型中，提升幅度达到了10%以上，验证了贝尔曼固定点价值估计的有效性。
🎯 应用场景
该研究的潜在应用领域包括机器人控制、自动驾驶、游戏AI等需要长时间决策的场景。通过提高信用分配的准确性，Gated-BEPO能够显著提升智能体在复杂环境中的学习效率和决策质量，具有广泛的实际价值和未来影响。
📄 摘要（原文）
Training large language model agents in long-horizon environments requires assigning credit from sparse terminal outcomes to individual actions. Existing critic-free methods propagate trajectory-level rewards uniformly across steps, while recent approaches construct step-level groups by matching repeated states and compare actions within each group. The former cannot distinguish useful actions in failed trajectories from ineffective actions in successful ones. The latter rely on step credit derived directly from individual trajectory outcomes and fixed-weight fusion with episode-level credit. We propose Gated-BEPO, which derives step-level credit from empirical rollout graphs. For each rollout group, Gated-BEPO constructs an empirical graph and estimates node values through a mean-backup Bellman fixed point that reflects the empirical action distribution of the current policy. We then accumulate these temporal-difference residuals along each sampled trajectory using generalized advantage estimation, yielding step-level Bellman advantages that capture both immediate and downstream effects. To adaptively fuse episode- and step-level credit, a confidence gate incorporates Bellman credit only at states with multiple observed successors and otherwise uses episode-level credit. Experiments on WebShop, ALFWorld, and visual Sokoban show consistent improvements across language and vision-language models, while diagnostic ablations support the effectiveness of Bellman fixed-point value estimation and show that step-level credit should be incorporated selectively rather than uniformly into the final advantage.