Pass the Baton: Trajectory-Relayed On-Policy Distillation

📄 arXiv: 2607.26057v1 📥 PDF

作者: Haolei Xu, Xiaowen Xu, Haiwen Hong, Zixuan Ni, Hongxing Li, Yiwen Qiu, Weiming Lu, Yongliang Shen

分类: cs.CL, cs.AI

发布日期: 2026-07-28

备注: Project Page: https://zju-real.github.io/Relay-OPD Code: https://github.com/zju-real/Relay-OPD

💡 一句话要点

提出Relay-OPD以解决在轨迹蒸馏中的前缀失败问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 在线蒸馏 推理优化 教师-学生模型 轨迹生成 数学推理

📋 核心要点

  1. 现有的在线蒸馏方法在学生模型的推理过程中存在前缀失败问题，导致后续生成内容的质量下降。
  2. 本文提出Relay-OPD方法，通过在关键点让教师模型短暂接管，生成更可靠的轨迹，从而优化学生模型的学习过程。
  3. 在多个数学推理基准测试中，Relay-OPD方法表现优异，平均提升了5.73%，并且训练轨迹长度减少超过50%。

📝 摘要（中文）

在现有的在线蒸馏方法中，学生模型在错误推理方向上的前缀失败会导致后续生成的内容偏离正确轨迹，从而产生不可靠的监督信息。本文提出了一种新的Relay-OPD方法，通过在检测到的触发点上让教师模型短暂接管，生成教师轨迹，然后学生模型在此基础上继续优化。实验表明，Relay-OPD在多个数学推理基准上均取得了最佳或次佳的结果，相较于标准的在线蒸馏方法提升了5.73%。

🔬 方法详解

问题定义：本文旨在解决在线蒸馏中学生模型因前缀失败而导致的推理偏差问题。现有方法在学生模型错误推理时，后续生成内容会受到影响，导致监督信息不可靠。

核心思路：Relay-OPD的核心思想是利用教师模型在检测到的触发点上短暂接管，从而生成更为准确的轨迹，帮助学生模型纠正错误推理。这样的设计旨在减少学生模型的偏差，同时保持其策略的连贯性。

技术框架：Relay-OPD的整体架构包括教师模型和学生模型的协同工作。在训练过程中，教师模型在关键触发点生成教师轨迹，随后学生模型在此基础上继续生成内容并进行优化。

关键创新：Relay-OPD的主要创新在于引入了无标签的接力机制，通过教师模型的短暂接管来修正学生模型的推理方向，这一机制有效缓解了前缀失败问题。

关键设计：在实现过程中，设置了有限的接力预算，以集中干预于关键早期位置，同时限制学生模型的策略偏离。此外，损失函数和网络结构经过精心设计，以确保教师和学生模型之间的有效协作。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，Relay-OPD在八个数学推理基准上均取得了最佳或次佳的成绩，平均提升幅度为5.73%，相较于最强基线FastOPD提升了1.49%。此外，训练轨迹长度减少超过50%，有效提高了训练效率。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、智能对话系统和自动化推理等。通过提高模型在推理过程中的准确性，Relay-OPD能够在实际应用中显著提升系统的智能水平和用户体验，未来可能对教育、客服等行业产生深远影响。

📄 摘要（原文）

On-policy distillation (OPD) grounds token-level supervision in the student's own trajectory, yet suffers from prefix failure: once the student commits to a wrong reasoning direction, all subsequent generation builds on this deviation, producing misdirected continuations that elicit unreliable supervision and waste compute. We identify a teacher-student continuation asymmetry on failed prefixes, where the teacher tends to redirect while the student continues along the original direction, and convert it into a label-free handoff trigger in Relay On-Policy Distillation (Relay-OPD). During training, Relay-OPD constructs relay trajectories by letting the teacher briefly take over at detected trigger points to produce a teacher leg, after which the student resumes and is optimized on the resulting trajectory. A limited relay budget concentrates intervention on critical early positions while limiting departure from the student policy. With a Qwen3-4B-Instruct-2507 teacher and Qwen3-0.6B/1.7B-Non-Thinking students on eight mathematical reasoning benchmarks, Relay-OPD achieves the best or second-best results on every benchmark, outperforming standard OPD by +5.73% and the strongest baseline FastOPD by +1.49% on average for 1.7B, with consistent gains at 0.6B. Training trajectory length is reduced by over 50%.