BLPO: Beyond-Local Policy Optimization for Long-Horizon LLM Agents
作者: Xuanren Chen, Chongyang Tao, Wenpeng Hu, Yong Wang, Bo Deng, Xinlei Zheng, Shuai Ma
分类: cs.AI
发布日期: 2026-11-02
备注: 18 pages, 8 figures. Code available at https://github.com/Tdadada/BLPO
💡 一句话要点
提出BLPO以解决长时间任务中的策略优化问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 长时间任务 策略优化 强化学习 大型语言模型 经验共享 全局记忆 任务进展
📋 核心要点
- 长时间任务中，现有方法在处理相互依赖的动作协调时存在不足，难以提供有效的信用评估。
- BLPO通过共享经验估计任务进展优势，利用任务进展状态和功能抽象来优化策略。
- 在ALFWorld和WebShop的实验中，BLPO在相同训练预算下显著提高了任务成功率，学习速度更快。
📝 摘要（中文）
长时间任务要求大型语言模型（LLM）代理协调相互依赖的动作，这是自动化复杂工作流的核心能力。逐步基于组的强化学习提供了比轨迹级监督更细致的信用评估，但可靠的比较必须考虑交互历史的差异。在每个任务的有限回合内强制执行这种一致性可能会导致对动作偏好的估计支持不足。我们提出了超越局部策略优化（BLPO），通过跨任务和训练更新共享的经验来估计任务进展优势。我们将轨迹前缀总结为任务进展状态，并按功能抽象动作，使来自不同任务的相应决策能够贡献于共享估计。为了控制来自异构任务的偏差和噪声，我们在全局记忆中累积上下文相关的回报，采用平衡聚合和可靠性加权。这些全局优势补充了对标准化动作和轨迹级信用的局部比较，而无需学习的评论员或额外的回合。实验结果表明，在匹配的训练预算下，ALFWorld和WebShop上的任务成功率优于评估的基线，进一步分析显示学习速度更快，轨迹更短，计算开销很小。
🔬 方法详解
问题定义：本论文旨在解决长时间任务中大型语言模型（LLM）代理在策略优化时面临的挑战，尤其是在处理相互依赖的动作和信用评估时的不足。现有方法在有限的回合内难以提供可靠的动作偏好估计，导致性能受限。
核心思路：论文提出的BLPO方法通过跨任务共享经验来估计任务进展优势，利用轨迹前缀总结为任务进展状态，并按功能抽象动作，从而使不同任务的决策能够共同贡献于共享估计。这种设计旨在提高策略优化的效率和准确性。
技术框架：BLPO的整体架构包括任务进展状态的生成、动作功能的抽象、全局记忆的构建以及基于上下文的回报累积。主要模块包括经验共享、优势估计和偏差控制。
关键创新：BLPO的核心创新在于通过全局记忆和可靠性加权来控制来自异构任务的偏差和噪声，这与传统方法依赖于局部比较和轨迹级信用的方式有本质区别。
关键设计：在设计中，BLPO采用了平衡聚合策略来处理不同任务的回报，同时避免了使用学习的评论员或额外的回合，从而降低了计算开销。
🖼️ 关键图片
📊 实验亮点
在ALFWorld和WebShop的实验中，BLPO在相同训练预算下实现了显著的任务成功率提升，具体表现为在1.5B和7B策略下的成功率均高于评估的基线。此外，BLPO还展现出更快的学习速度和更短的轨迹，计算开销几乎可以忽略不计。
🎯 应用场景
该研究的潜在应用领域包括自动化工作流、智能助手和复杂任务的决策支持系统。通过优化长时间任务中的策略，BLPO能够在多种实际场景中提高效率和成功率，具有重要的实际价值和未来影响。
📄 摘要（原文）
Long-horizon tasks require large language model (LLM) agents to coordinate interdependent actions, a capability central to automating complex workflows. Stepwise group-based reinforcement learning provides finer credit than trajectory-level supervision, but reliable comparisons must account for differences in interaction history. Enforcing this consistency within the limited rollouts of each task can leave insufficient support for estimating action preferences. We propose Beyond-Local Policy Optimization (BLPO), which estimates task-progress advantages from experience shared across tasks and training updates. We summarize trajectory prefixes into task-progress states and abstract actions by their function, allowing corresponding decisions from different tasks to contribute to shared estimates. To control bias and noise from heterogeneous tasks, we accumulate context-relative returns in a global memory with balanced aggregation and reliability weighting. These global advantages complement local comparisons over normalized actions and trajectory-level credit without a learned critic or additional rollouts. Experiments on ALFWorld and WebShop with 1.5B and 7B policies show improved task success over the evaluated baselines under matched training budgets. Further analyses show faster learning and shorter trajectories with little computational overhead.