TAPO: Transition-Aware Policy Optimization for LLM Agents

📄 arXiv: 2607.27973v1 📥 PDF

作者: Cong Li, Peixi Peng, Yisen Zhao, Xinyu Hu, Shudong Liu, Zhan Su, Zhuojian Li

分类: cs.LG, cs.AI

发布日期: 2026-07-30

备注: 16 pages, 5 figures

💡 一句话要点

提出TAPO以优化大型语言模型代理的策略学习

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 强化学习 大型语言模型 策略优化 过渡监督 智能代理 环境反馈 模型训练

📋 核心要点

  1. 现有强化学习方法主要依赖稀疏奖励进行策略优化，未能充分利用环境反馈信号，导致策略学习效率低下。
  2. TAPO框架通过交替进行策略优化和过渡监督，利用环境反馈信号增强模型对环境动态的敏感性，从而提升策略学习效果。
  3. 实验结果显示，TAPO在多个任务上均优于传统的策略优化基线，证明了其在提升任务性能方面的有效性。

📝 摘要（中文）

近年来，强化学习（RL）成为大型语言模型（LLM）代理后训练的重要范式。然而，现有方法主要依赖稀疏任务奖励进行策略优化，未能充分利用在线交互中自然存在的环境反馈信号。为此，本文提出了TAPO：一种过渡感知的策略优化框架，交替进行策略优化和过渡监督。TAPO通过重新利用回滚数据，在共享模型上应用基于动作的下一个观察预测监督，从而增强模型对环境动态和动作后果的敏感性，同时优化策略。该方法作为现有RL算法的轻量级增强模块，无需额外的专家数据或采样成本。实验结果表明，TAPO在WebShop和ALFWorld任务上均显著提升了性能。

🔬 方法详解

问题定义：本文旨在解决现有强化学习方法在策略优化中未能充分利用环境反馈信号的问题，导致学习效率低下和泛化能力不足。

核心思路：TAPO通过引入过渡监督机制，利用动作条件下的下一个观察预测，增强模型对环境动态的理解，从而优化策略学习过程。

技术框架：TAPO框架包括两个主要模块：策略优化模块和过渡监督模块。策略优化模块负责更新模型策略，而过渡监督模块则利用回滚数据进行环境反馈的预测。

关键创新：TAPO的创新在于将过渡监督与策略优化相结合，形成统一的训练框架，显著提升了模型对环境动态的敏感性，与传统方法相比具有本质区别。

关键设计：在实现上，TAPO采用共享的基础模型结构，通过动作条件的预测损失函数来进行训练，确保模型能够有效学习到环境的动态特性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在WebShop和ALFWorld任务上的实验结果表明，TAPO相较于传统的策略优化基线，任务性能提升显著，具体提升幅度达到XX%（具体数据待补充），展示了其在强化学习中的有效性。

🎯 应用场景

TAPO的研究成果可广泛应用于智能代理、自动化决策系统和人机交互等领域。通过提升大型语言模型在复杂任务中的表现，TAPO有望推动智能系统在实际应用中的有效性和可靠性，具有重要的实际价值和未来影响。

📄 摘要（原文）

Recently, Reinforcement Learning (RL) has emerged as a crucial paradigm for the post-training of Large Language Model (LLM) agents. However, existing methods predominantly rely on sparse task rewards for policy optimization, failing to fully exploit another class of inherently dense supervisory signals naturally present during online interaction: environmental feedback following action execution. Recent theoretical studies suggest that generalization in multi-step, goal-oriented tasks hinges on predictive knowledge of environmental consequences. Inspired by this, we propose TAPO: Transition-Aware Policy Optimization for LLM Agents, a unified training framework that alternates between policy optimization and transition supervision. Beyond standard RL updates, TAPO repurposes rollout data to apply action-conditioned next-observation prediction supervision on a shared backbone model. This approach enhances the model's sensitivity to environmental transition dynamics and action consequences while concurrently optimizing the policy. It serves as a computationally lightweight, plug-and-play enhancement module for existing agent RL algorithms, requiring no additional expert data, extra sampling costs, or inference-time overhead. We conduct systematic experiments on WebShop and ALFWorld, integrating foundation models of various scales with different policy optimization algorithms. Empirical results demonstrate that TAPO consistently improves task performance over pure policy optimization baselines.