STAPO: Selective Trajectory-Aware Policy Optimization for LLM Agent Training

📄 arXiv: 2607.04963v1 📥 PDF

作者: Qiuyi Qi, Tian Liang, Mutian Bao, Jinjian Zhang, Dongnan Liu, Wei Zhou, Linjian Mo, Ming Kong, Jie Liu, Feng Zhang, Qiang Zhu

分类: cs.AI

发布日期: 2026-07-06

备注: ACL 2026 MainConference

💡 一句话要点

提出STAPO以解决长任务中轨迹忽视问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 强化学习 大型语言模型 轨迹优化 归一化熵 代理任务 长时间任务 决策信心 轨迹感知

📋 核心要点

  1. 现有的强化学习方法在长时间任务中面临稀疏奖励和延迟反馈的问题，导致代理忽视轨迹和任务目标。
  2. 本文提出了归一化熵作为信心度量，并基于此设计了选择性轨迹感知策略优化（STAPO）框架，以优化代理的决策过程。
  3. 实验结果显示，STAPO在多个基准任务上表现优异，相较于传统方法显著降低了轨迹忽视现象。

📝 摘要（中文）

强化学习（RL）是训练大型语言模型（LLM）代理在长时间任务中的主流方法。然而，稀疏和延迟的奖励常导致轨迹忽视，代理在中间步骤中失去对任务目标和交互历史的关注。以往研究使用基于香农熵的不确定性信号进行逐步监督，但这种方法将固有状态复杂性与代理信心混淆，提供了不可靠的决策可靠性估计。为了解决这一问题，本文提出了归一化熵，衡量相对于给定状态下代理平均行为的信心偏差，从而加强低质量动作与轨迹忽视之间的关联。基于这一洞察，本文引入了选择性轨迹感知策略优化（STAPO），一个分层的基于群体的RL框架。STAPO利用归一化熵定位与轨迹忽视相关的异常步骤，并通过轨迹感知奖励和轨迹独立惩罚的联合机制对其进行优化，增强轨迹感知的同时保持训练稳定性。在ALFWorld、WebShop和搜索增强问答等任务上的广泛实验表明，STAPO实现了最先进的性能，同时显著缓解了轨迹忽视，验证了其在代理任务中的有效性和鲁棒性。

🔬 方法详解

问题定义：本文旨在解决长时间任务中代理因稀疏和延迟奖励而导致的轨迹忽视问题。现有方法在处理状态复杂性与代理信心时存在混淆，导致决策不可靠。

核心思路：提出归一化熵作为新的信心度量，能够更准确地反映代理在特定状态下的行为偏差，从而增强低质量动作与轨迹忽视之间的关联。

技术框架：STAPO框架采用分层的群体强化学习结构，主要包括归一化熵计算模块、轨迹感知奖励机制和轨迹独立惩罚模块，形成一个协同优化的整体流程。

关键创新：最重要的创新在于引入归一化熵来替代传统的香农熵，提供更可靠的决策信心评估，并通过联合优化机制有效缓解轨迹忽视。

关键设计：在损失函数设计中，结合了轨迹感知奖励和轨迹独立惩罚，确保代理在优化过程中能够平衡探索与利用，同时设置了适当的超参数以维持训练的稳定性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在ALFWorld、WebShop和搜索增强问答等任务上，STAPO实现了最先进的性能，相较于基线方法在任务完成率上提升了15%以上，显著降低了轨迹忽视现象，验证了其有效性和鲁棒性。

🎯 应用场景

该研究的潜在应用领域包括智能对话系统、自动化客服、长时间交互的机器人等。通过提高代理在复杂任务中的表现，STAPO能够在实际应用中提升用户体验和系统效率，具有广泛的实际价值和未来影响。

📄 摘要（原文）

Reinforcement Learning (RL) is the dominant paradigm for training Large Language Model (LLM) agents on long-horizon tasks. However, sparse and delayed rewards often lead to trajectory neglect, in which agents lose focus on the task goal and interaction history at intermediate steps. Prior work has explored step-level supervision using Shannon-entropy-based uncertainty signals, which conflate inherent state complexity with agent confidence and therefore provide unreliable estimates of decision reliability. To address this issue, we propose normalized entropy, which measures confidence deviations relative to an agent's average behavior under a given state, thereby strengthening the association between low-quality actions and trajectory neglect. Building on this insight, we introduce Selective Trajectory-Aware Policy Optimization (STAPO), a hierarchical group-based RL framework. STAPO leverages normalized entropy to locate outlier steps associated with trajectory neglect and optimizes them via a joint mechanism of trajectory-aware reward and trajectory-independent penalty, enhancing trajectory awareness while preserving training stability. Extensive experiments on ALFWorld, WebShop, and Search-Augmented QA demonstrate that STAPO achieves state-of-the-art performance while substantially alleviating trajectory neglect, validating its effectiveness and robustness for agentic tasks.