Beyond Teacher Likelihood: Group-Calibrated On-Policy Distillation for Long-Context Reasoning

📄 arXiv: 2608.19181v1 📥 PDF

作者: Zhu Zhang, Jixun Wang, Xiaoang Xu, Xiaorong Wang, Zihan Zhou, Zhiyuan Wang, Shuo Wang, Chaojun Xiao, Yuezhi Zhou

分类: cs.LG, cs.AI, cs.CL

发布日期: 2026-08-19

备注: 20 pages, 5 figures

🔗 代码/项目: GITHUB

💡 一句话要点

提出群体校准的在线蒸馏方法以解决长上下文推理问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 长上下文推理 在线蒸馏 群体校准 模型训练 自然语言处理

📋 核心要点

  1. 现有的在线蒸馏方法在长上下文任务中存在教师与验证者之间的不一致，导致模型生成的响应缺乏全局一致性。
  2. 本文提出的GC-OPD方法通过归一化验证者奖励和轨迹级OPD分数，利用其差异作为教师-验证者不一致的残差进行训练。
  3. 实验结果显示，GC-OPD在多个长上下文基准测试中显著提升了模型性能，Qwen3-4B和Qwen3-8B的平均分数分别提高了11.39和9.53。

📝 摘要（中文）

在线蒸馏（OPD）通过强教师的密集标记级指导训练学生模型。然而，在长上下文任务中，标记级教师支持可能导致学生生成局部合理但缺乏全局一致性的响应。针对这一问题，本文提出了群体校准在线蒸馏（GC-OPD），通过在每个回合组内分别归一化验证者奖励和轨迹级OPD分数，利用其差异作为教师-验证者不一致的残差。实验结果表明，GC-OPD在五个长上下文基准测试中显著提高了模型性能，显示出群体相对残差校准能够有效整合验证者结果而不丢弃密集的标记级指导。

🔬 方法详解

问题定义：本文旨在解决长上下文任务中在线蒸馏（OPD）方法的不足，特别是教师与验证者之间的分歧导致的响应质量下降。现有方法在处理长输入时，轨迹级OPD分数与验证者奖励之间的对齐度逐渐降低，影响了模型的全局推理能力。

核心思路：GC-OPD通过分别归一化验证者奖励和轨迹级OPD分数，利用它们之间的差异作为教师-验证者不一致的残差，从而在训练过程中更好地引导学生模型。该方法旨在保持密集的标记级指导，同时有效整合验证者的反馈。

技术框架：GC-OPD的整体架构包括数据收集、轨迹生成、奖励归一化和残差分配四个主要模块。首先，模型生成响应并收集轨迹；然后，计算验证者的奖励并进行归一化；接着，计算轨迹级OPD分数并进行比较；最后，利用相对优势的信用分配方法将残差分配到各个标记上。

关键创新：GC-OPD的核心创新在于引入了群体相对残差校准机制，能够有效整合验证者的结果而不丢弃密集的标记级指导。这一方法与传统的OPD方法相比，能够更好地处理长上下文任务中的全局一致性问题。

关键设计：在GC-OPD中，关键设计包括使用相对优势基础的信用分配（RACA）方法，该方法根据标记的相对OPD优势分配轨迹级残差。此外，实验中还进行了控制性消融实验，验证了签名残差的有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，使用GC-OPD后，Qwen3-4B和Qwen3-8B在五个长上下文基准测试中的平均分数分别从29.08提升至40.47和从35.12提升至44.65，相较于传统的OPD方法，性能提升显著，验证了该方法的有效性。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、对话系统和信息检索等长上下文推理任务。通过提高模型在长上下文中的推理能力，GC-OPD可以显著提升智能助手、问答系统等应用的性能，具有重要的实际价值和未来影响。

📄 摘要（原文）

On-policy distillation (OPD) trains a student on its own responses using dense token-level guidance from a stronger teacher. In long-context tasks, however, token-level teacher support can favor locally plausible responses that omit evidence distributed across the input or violate global task constraints. Task-specific verifiers, in contrast, evaluate task completion at the response level and may return graded rewards that reflect partial success. We diagnose this mismatch on fixed responses from two representative long-context evidence-aggregation tasks. Across longer input ranges, trajectory-level OPD scores become progressively less aligned with verifier rewards, indicating teacher-verifier disagreement. Motivated by this observation, we introduce Group-Calibrated On-Policy Distillation (GC-OPD). GC-OPD separately normalizes verifier rewards and trajectory-level OPD scores within each rollout group and uses their difference as a signed teacher-verifier disagreement residual. Relative-advantage-based credit assignment (RACA) distributes this trajectory-level residual across tokens according to their relative OPD advantages while preserving the original OPD signal. Across five long-context benchmarks, post-training with GC-OPD raises the five-benchmark averages of the official Qwen3-4B and Qwen3-8B checkpoints from 29.08 to 40.47 and from 35.12 to 44.65, respectively. Vanilla OPD reaches 39.31 and 43.56 under the same setup. Controlled ablations show that the signed residual is more effective than either an additional OPD-derived term or direct group-normalized verifier reward addition, while RACA further improves over uniform token allocation. Together, these results demonstrate that group-relative residual calibration can incorporate verifier outcomes without discarding dense token-level guidance. Code is available at https://github.com/SolereZhang/GC-OPD.