APPO: Agentic Procedural Policy Optimization
作者: Xucong Wang, Ziyu Ma, Yong Wang, Yuxiang Ji, Shidong Yang, Guanhua Chen, Pengkun Wang, Xiangxiang Chu
分类: cs.LG, cs.AI
发布日期: 2026-06-10
备注: 25 pages, including 14 pages of main text and 11 pages of appendix; work in progress
💡 一句话要点
提出APPO以优化代理强化学习中的决策分支与信用分配问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 代理强化学习 决策优化 信用分配 工具使用 多轮对话 智能代理 程序级优势
📋 核心要点
- 现有的代理强化学习方法在信用分配上存在不足，难以准确识别影响最终结果的决策点。
- 本文提出的APPO方法通过细化决策点的分支和信用分配，结合分支评分来优化探索过程。
- 实验结果显示，APPO在13个基准测试中相较于强基线提升近4分，且保持了工具调用的高效性和可解释性。
📝 摘要（中文）
近年来，代理强化学习的进展显著提升了大型语言模型代理的多轮工具使用能力。然而，现有方法通常在粗糙的启发式单元上分配信用，使得识别影响下游结果的中间决策变得困难。本文从决策分支位置和分配信用的角度研究代理强化学习，提出了代理程序策略优化（APPO），通过引入分支评分和程序级优势缩放，将分支和信用分配从粗糙的交互单元转移到序列中的细粒度决策点。实验表明，APPO在13个基准测试中显著提升了代理强化学习的基线表现，且保持了高效的工具调用和行为可解释性。
🔬 方法详解
问题定义：本文旨在解决现有代理强化学习方法在信用分配和决策分支位置选择上的不足，现有方法往往依赖粗糙的启发式单元，导致难以识别关键决策点的影响。
核心思路：APPO通过引入分支评分机制，将分支位置的选择与信用分配从粗糙的工具调用转向细粒度的决策点，旨在提高探索的针对性和有效性。
技术框架：APPO的整体架构包括分支评分模块、决策点选择机制和程序级优势缩放，首先评估每个决策点的潜在影响，然后进行信用分配。
关键创新：APPO的主要创新在于将分支和信用分配从粗糙的交互单元转移到细粒度的决策点，利用分支评分结合策略引导的可能性增益，显著提升了决策的准确性和效率。
关键设计：在设计上，APPO采用了结合token不确定性和策略引导的分支评分，此外引入程序级优势缩放以更好地分配信用，确保在多轮决策中有效利用信息。
🖼️ 关键图片
📊 实验亮点
在13个基准测试中，APPO相较于现有强基线提升了近4分，显示出其在代理强化学习中的有效性。同时，APPO保持了高效的工具调用和良好的行为可解释性，证明了其在实际应用中的潜力。
🎯 应用场景
APPO的研究成果可广泛应用于需要多轮决策和工具使用的智能代理系统，如对话系统、自动化客服和复杂任务的机器人控制等。其优化的决策过程和信用分配机制将提升代理的智能化水平，推动相关领域的发展。
📄 摘要（原文）
Recent advances in agentic Reinforcement Learning (RL) have substantially improved the multi-turn tool-use capabilities of large language model agents. However, most existing methods assign credit over coarse heuristic units, such as tool-call boundaries or fixed workflows, making it difficult to identify which intermediate decisions influence downstream outcomes. In this work, we study agentic RL from two perspectives: \textit{where to branch and how to assign credit after branching}. Our pilot analysis shows that influential decision points are broadly distributed throughout the generated sequence rather than concentrated at tool calls, while token entropy alone does not reliably reflect their impact on final outcomes. Motivated by these observations, we propose \textbf{Agentic Procedural Policy Optimization (APPO)}, which shifts branching and credit assignment from coarse interaction units to fine-grained decision points in the sequence. APPO selects branching locations using a Branching Score that combines token uncertainty with policy-induced likelihood gains of subsequent continuations, enabling more targeted exploration while filtering out spurious high-entropy positions. It further introduces procedure-level advantage scaling to better distribute credit across branched rollouts. Experiments on 13 benchmarks show that APPO consistently improves strong agentic RL baselines by nearly 4 points, while keeping efficient tool-calls and maintaining behavior interpretability.