Beyond Outcome Rewards: Step-Level Self-Distilled Policy Optimization for Deep Search Agents

📄 arXiv: 2608.12764v1 📥 PDF

作者: Haoze Wu, Chuqiao Kuang, Tianyi Zhuang, Xiaoguang Li

分类: cs.LG, cs.AI

发布日期: 2026-08-13

备注: Work in progress

💡 一句话要点

提出步骤级自蒸馏策略优化以解决深度搜索代理的稀疏奖励问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 深度搜索代理 强化学习 自蒸馏 策略优化 证据锚点 信息不对称 信用分配

📋 核心要点

  1. 现有的强化学习方法在深度搜索代理中面临稀疏奖励的问题，导致信用分配困难。
  2. 论文提出通过证据锚点和步骤级自蒸馏策略优化（SSPO）来解决信息不对称问题，提升搜索策略学习效果。
  3. 在Qwen3-8B上，SSPO在BrowseComp、GAIA和FRAMES等任务中表现优于GRPO，且仅增加约5%的计算开销。

📝 摘要（中文）

深度搜索代理在多个步骤的轨迹上操作，但标准强化学习仅提供每条轨迹一个结果奖励，这对于有效的信用分配来说过于稀疏。论文提出的在线自蒸馏方法（OPSD）利用模型的logits作为密集的标记级教师，但在搜索代理中引入了根本性的紧张关系。为了解决这一问题，作者构建了证据锚点，提取关键推理步骤的简洁证据片段，并提出步骤级自蒸馏策略优化（SSPO），将教师与学生之间的分歧转化为步骤级优势权重。实验结果表明，SSPO在多个基准测试中表现优于传统方法GRPO。

🔬 方法详解

问题定义：论文要解决的问题是深度搜索代理在轨迹中面临的稀疏奖励问题，现有的强化学习方法无法有效进行信用分配，导致学习效率低下。

核心思路：论文的核心思路是通过构建证据锚点来提供关键推理步骤的信息，同时提出SSPO方法，将教师与学生之间的分歧转化为步骤级优势权重，从而优化策略学习。

技术框架：整体架构包括两个主要模块：证据锚点的构建和步骤级自蒸馏策略优化。证据锚点提供了关键的推理信息，而SSPO则在不影响正确轨迹的情况下，优化错误轨迹的策略。

关键创新：最重要的技术创新点在于通过证据锚点解决了教师与学生之间的信息不对称问题，并将教师的指导转化为步骤级的优势权重，从而实现更有效的策略优化。

关键设计：在设计中，作者设置了损失函数以平衡教师和学生之间的学习过程，并通过对错误轨迹的专门优化，确保正确轨迹的多样性得以保留。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果显示，SSPO在Qwen3-8B上在BrowseComp、GAIA和FRAMES等任务中均优于GRPO，且在使用双倍梯度步骤的情况下，SSPO的性能与GRPO相当，同时每步仅增加约5%的计算开销，展示了其高效性。

🎯 应用场景

该研究的潜在应用领域包括智能搜索引擎、自动问答系统和复杂决策支持系统。通过提升深度搜索代理的学习效率，能够在实际应用中实现更快速和准确的信息检索，具有重要的商业价值和社会影响。

📄 摘要（原文）

Deep search agents operate over trajectories spanning dozens of steps, yet standard reinforcement learning provides only a single outcome reward per trajectory, which is far too sparse for effective credit assignment. On-policy self-distillation (OPSD) addresses this by using the model's own logits as dense token-level teachers, but extending it to search agents introduces a fundamental tension: the teacher, having access to privileged information such as the correct answer, produces a distribution that differs systematically from the student's exploration-based reasoning, and naive distillation causes the student to inherit this information asymmetry rather than learn better search strategies. We resolve this tension through two contributions. First, we construct Evidence Anchors, which are concise, step-level evidence snippets extracted from the web, as privileged information that captures key reasoning steps without revealing the entire answer path. Second, we propose Step-Level Self-Distilled Policy Optimization (SSPO), which converts teacher-student disagreement into step-level advantage weights within GRPO, applied exclusively to incorrect trajectories. This design decouples what to update from how much to update: the outcome reward determines the direction of policy change, while the teacher modulates its magnitude at each step. Correct trajectories are left untouched, preserving their diversity. On Qwen3-8B, SSPO consistently outperforms GRPO across BrowseComp, GAIA, and FRAMES, surpassing or matching GRPO trained with twice as many gradient steps while adding only about 5 percent overhead per step from a single additional forward pass.