OPDSearch+: On-Policy Distillation with RL Refinement for Search-Augmented Reasoning

📄 arXiv: 2608.24310v1 📥 PDF

作者: Qinglin Ye, Zhiyuan Gu, Jingjie Xia, Yiheng Zhang, Kaiyan Zhao, Shunchao Zheng, Yuhang Mu, Wenchao Du, Yiming Wang

分类: cs.AI

发布日期: 2026-08-25

备注: 9 pages, 4 figures

💡 一句话要点

提出OPDSearch+以解决小型语言模型的搜索增强推理问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 搜索增强推理 政策蒸馏 强化学习 小型语言模型 问答系统 自然语言处理 模型优化

📋 核心要点

  1. 现有的搜索增强推理方法在小型语言模型中面临高质量数据收集困难和训练成本高的问题。
  2. 本文提出OPDSearch+，通过冻结的现成教师模型进行政策蒸馏，避免了任务特定微调的需求。
  3. 在七个问答基准测试中，OPDSearch+在性能上显著优于以往的3B RL基线，取得了显著的提升。

📝 摘要（中文）

搜索增强推理对于小型语言模型仍然具有挑战性。尽管在政策蒸馏（OPD）方面的研究提供了有希望的方向，但存在高质量多轮搜索轨迹依赖动态检索器响应和任务特定教师训练成本高等问题。为此，本文提出了OPDSearch+，这是首个无需教师微调的蒸馏范式。通过冻结的现成指令模型作为教师，研究发现教师能够重塑学生的策略分布，使得后续的强化学习（RL）能够收敛到RL单独无法达到的优越解。实验结果表明，OPDSearch+在七个问答基准上均优于所有先前的3B RL基线，HotpotQA提升13.1%，2WikiMultihopQA提升8.5%。

🔬 方法详解

问题定义：本文旨在解决小型语言模型在搜索增强推理中的性能瓶颈，现有方法在高质量多轮搜索轨迹的收集和教师模型的训练成本上存在显著不足。

核心思路：OPDSearch+的核心思路是利用冻结的现成教师模型进行政策蒸馏，从而避免任务特定的教师微调，同时通过强化学习进一步优化学生模型的性能。

技术框架：该方法分为两个阶段：第一阶段，学生与实时搜索引擎交互，通过每个位置的前向KL目标进行蒸馏，转移推理分解和证据整合技能；第二阶段，利用强化学习对蒸馏后的学生进行精炼，提升其性能。

关键创新：OPDSearch+的主要创新在于无需对教师模型进行微调，直接利用现成的教师模型进行政策蒸馏，解决了传统方法中的训练不稳定性和性能限制问题。

关键设计：在损失函数设计上，采用前向KL散度作为蒸馏目标，确保学生模型能够有效学习教师模型的推理策略，同时在强化学习阶段，利用丰富的行为基础进行性能提升。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，OPDSearch+在七个问答基准上均优于所有先前的3B RL基线，具体表现为在HotpotQA上提升了13.1%，在2WikiMultihopQA上提升了8.5%。这些结果表明该方法在搜索增强推理任务中的有效性和优越性。

🎯 应用场景

该研究的潜在应用领域包括智能问答系统、对话系统以及其他需要推理能力的自然语言处理任务。通过提升小型语言模型的推理能力，OPDSearch+有望在资源受限的环境中实现高效的智能应用，具有重要的实际价值和未来影响。

📄 摘要（原文）

Search-augmented reasoning remains difficult for small language models. On-policy distillation (OPD) from trained teachers offers a promising direction, but suffers from two issues: (1) high-quality multi-turn search trajectories depend on dynamic retriever responses, making SFT data prohibitively expensive to collect at scale; (2) task-specifically trained teachers incur substantial training cost, while directly applying OPD with an off-the-shelf teacher without task-specific fine-tuning constrains the student to the teacher's performance ceiling and suffers from severe training instability. We propose OPDSearch+, the first distillation paradigm that requires no teacher fine-tuning for search-augmented reasoning. We investigate the role of a frozen off-the-shelf instruct model as the teacher in on-policy distillation, and reveal a key insight: the teacher reshapes the student's policy distribution so that subsequent RL converges to a superior solution that RL alone cannot reach. In stage one, the student interacts with a live search engine and is distilled via a per-position forward KL objective, transferring reasoning decomposition and evidence integration skills without any task-specific teacher training. In stage two, RL refines the distilled student from a richer behavioral foundation, achieving performance that RL alone cannot reach from scratch. Across seven QA benchmarks, OPDSearch+ with a 3B model consistently outperforms all prior 3B RL baselines, achieving gains of 13.1% on HotpotQA and 8.5% on 2WikiMultihopQA.