When Teacher Guidance Misleads: Reward-Aligned On-Policy Distillation

📄 arXiv: 2608.27960v1 📥 PDF

作者: Siyuan Gan, Yuhan Li, Xiran Wang, Linjian Meng, Boyan Wang, Zhen Zhao, Jing Huo, Yang Gao

分类: cs.AI

发布日期: 2026-08-28

💡 一句话要点

提出奖励对齐的在线蒸馏方法以解决教师指导误导问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 在线蒸馏 奖励对齐 教师模型 学生模型 模型优化 自然语言处理 代码生成

📋 核心要点

  1. 现有的在线蒸馏方法在教师模型指导下，可能导致学生模型朝向错误的优化轨迹，从而影响性能。
  2. 本文提出的RA-OPD方法通过筛选与结果奖励一致的轨迹，确保学生模型的优化过程更加可靠。
  3. 在七个数学基准和三个代码基准测试中，RA-OPD显著提升了模型性能，优于标准OPD及其他变体。

📝 摘要（中文）

在线蒸馏（OPD）作为一种新兴的后训练范式，旨在将教师模型的知识有效转移至学生模型。然而，教师对学生生成的前缀指导并不总是可靠，可能导致学生模型朝向错误的轨迹优化。为此，本文提出了奖励对齐的在线蒸馏（RA-OPD），通过筛选出与结果奖励一致的轨迹，确保学生模型的优化过程朝向正确方向。实验结果表明，RA-OPD在数学和代码基准测试中显著优于标准OPD及其他变体。

🔬 方法详解

问题定义：本文旨在解决在线蒸馏过程中教师模型指导不可靠的问题，现有方法可能导致学生模型朝向错误的轨迹优化，从而影响最终性能。

核心思路：RA-OPD的核心思路是仅保留那些能够引导学生模型朝向正确轨迹的轨迹，通过与结果奖励的一致性检查来过滤不可靠的轨迹。

技术框架：RA-OPD的整体架构包括轨迹采样、轨迹级蒸馏返回计算和不一致轨迹的过滤三个主要模块。首先，从学生模型生成的前缀中采样轨迹，然后计算每个轨迹的蒸馏返回，最后根据与结果奖励的一致性进行筛选。

关键创新：RA-OPD的主要创新在于引入了奖励对齐机制，通过确保轨迹的蒸馏返回与结果奖励一致，显著提高了学生模型的优化效果。这一方法与传统的OPD方法在处理教师指导的可靠性上有本质区别。

关键设计：在设计上，RA-OPD采用了轨迹级的蒸馏返回计算，并通过设置合理的过滤阈值来确保只保留高质量的轨迹，避免了不必要的计算开销。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

在七个数学基准和三个代码基准测试中，RA-OPD显著提升了模型性能，相较于标准OPD，性能提升幅度达到XX%（具体数据待补充），显示出其在优化过程中的有效性。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、代码生成及其他需要模型蒸馏的任务。通过提高学生模型的性能，RA-OPD可以在实际应用中提升模型的准确性和可靠性，具有重要的实际价值和未来影响。

📄 摘要（原文）

On-policy distillation (OPD) has recently emerged as a popular post-training paradigm for large language models (LLMs), providing an efficient way to transfer the knowledge and capabilities of teacher models into student models. However, teacher guidance on student-generated prefixes is not always reliable. Training should optimize the model to generate responses that are more likely to be correct, or equivalently, to get higher outcome rewards. But during OPD, the teacher model may provide guidance that discourages the student from moving toward correct trajectories or moves the student toward incorrect ones, which is misaligned with outcome reward. Such misaligned guidance is unreliable, as it would mislead the optimization process and ultimately degrade model performance. To mitigate misaligned teacher guidance, we propose Reward-Aligned On-Policy Distillation (RA-OPD). The key insight is to keep only trajectories whose induced updates move the student toward correct trajectories or discourage the student from moving toward incorrect ones. Specifically, for each sampled trajectory, RA-OPD checks whether its trajectory-level distillation return is consistent with its outcome reward and then filters out the misaligned trajectories. RA-OPD selects more reliable trajectories to improve student model performance without requiring additional computational cost. We evaluate RA-OPD on math and code benchmarks using models from the Qwen3 family and the DeepSeek-R1 family. Across seven math benchmarks and three code benchmarks, RA-OPD significantly outperforms standard OPD and other tested OPD variants.