RTPO: Reverse-Turn Policy Optimization for Stabilizing Agentic RL Training

📄 arXiv: 2608.18682v1 📥 PDF

作者: Yugu Li, Jimmy Cao, Jianglin Qiao, Siyi Hu

分类: cs.AI

发布日期: 2026-08-19

💡 一句话要点

提出RTPO以解决多回合强化学习训练不稳定问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 强化学习 多回合训练 策略优化 信用分配 异步漂移

📋 核心要点

  1. 多回合强化学习训练存在不稳定性，随着回合数增加，性能显著下降，影响代理的有效性。
  2. 提出反向回合策略优化（RTPO），通过稀疏反向树组织回滚并按时间反向顺序更新策略，解决不稳定性问题。
  3. 实验结果显示，RTPO在多回合代理RL基准上性能提升显著，分别提高21.50%和10.76%。

📝 摘要（中文）

通过强化学习（RL）训练多回合代理工作流使大型语言模型能够进行复杂推理、使用外部工具并进行超越单回合设置的迭代搜索。然而，多回合RL训练仍然高度不稳定，随着回合数的增加，性能常常严重下降。通过理论分析，我们识别出三种紧密耦合的不稳定源：回滚训练上下文不匹配、稀疏终端奖励下的弱回合级信用分配，以及在不同策略版本下优化短期和长期轨迹时的异步策略漂移。我们提出了反向回合策略优化（RTPO），将多回合回滚组织为稀疏反向树，并按时间反向顺序执行回合级策略更新，从而使每个决策与其后续内容对齐。RTPO实现了因果一致的回合级信用分配和策略的在政策延续，以控制异步漂移。实验结果表明，RTPO在多回合代理RL基准上相较于轨迹和回合级基线分别提高了21.50%和10.76%。

🔬 方法详解

问题定义：论文旨在解决多回合强化学习训练中的不稳定性问题，现有方法在回合数增加时性能下降，主要由于回滚训练上下文不匹配、信用分配不足和异步策略漂移等因素。

核心思路：RTPO通过将多回合回滚组织为稀疏反向树，并按时间反向顺序进行策略更新，确保每个决策与其后续内容一致，从而解决上述不稳定性问题。

技术框架：RTPO的整体架构包括三个主要模块：首先是回滚生成模块，生成稀疏反向树；其次是回合级策略更新模块，按时间反向顺序更新策略；最后是信用分配模块，确保因果一致性。

关键创新：RTPO的主要创新在于其反向回合的策略优化方法，解决了传统方法中存在的上下文不匹配和异步漂移问题，提供了一种新的视角来处理多回合RL训练。

关键设计：在RTPO中，设计了特定的损失函数以减少信用偏差，并采用了适应性策略更新机制，以确保在不同策略版本下的优化过程保持一致性。具体的参数设置和网络结构设计尚未详细披露，属于未知领域。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，RTPO在多回合代理RL基准上相较于轨迹和回合级基线分别提高了21.50%和10.76%，显示出其在稳定训练方面的显著优势，具有重要的实际应用价值。

🎯 应用场景

该研究的潜在应用领域包括复杂任务的自动化处理、智能助手和多轮对话系统等。通过提高多回合强化学习的稳定性，RTPO能够支持更高效的工具使用代理，推动智能系统在实际应用中的表现和可靠性。

📄 摘要（原文）

Training multi-turn agentic workflows with reinforcement learning (RL) enables large language models to perform complex reasoning, use external tools, and conduct iterative search beyond single-turn settings. Yet multi-turn RL training remains highly unstable, often causing severe performance degradation as the number of turns increases. Through theoretical analysis, we identify three tightly coupled sources of instability: rollout-training context mismatch, weak turn-level credit assignment under sparse terminal rewards, and asynchronous policy drift when short and long trajectories are optimized under different policy versions. We show that these issues share a common structural origin in flattened trajectory optimization and address them through a unified reverse-turn formulation. We propose Reverse-Turn Policy Optimization (RTPO), which organizes multi-turn rollouts as sparse reverse trees and performs turn-level policy updates in temporal reverse order, aligning each decision with its downstream continuation. RTPO enables causally consistent turn-level credit assignment and on-policy continuation to control asynchronous drift. We provide theoretical guarantees showing that RTPO eliminates context mismatch and asynchronous drift under the proposed turn-level formulation, reduces credit bias, and converges to recursive optimality. Experiments on multi-turn agentic RL benchmarks show that RTPO improves upon trajectory- and turn-level baselines by 21.50% and 10.76%, respectively, highlighting its potential to support more stable training for tool-using agents.