Meet Students Where They Are: Student-Prefix Teacher Adaptation for On-Policy Distillation

📄 arXiv: 2611.03133v1 📥 PDF

作者: Xue Zhang, Songming Zhang, Yunlong Liang, Fandong Meng, Yufeng Chen, Jinan Xu

分类: cs.CL

发布日期: 2026-11-02

备注: 15 pages

💡 一句话要点

提出学生前缀教师适应以解决在政策蒸馏中的分布不匹配问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 政策蒸馏 教师适应 强化学习 数学推理 学生生成前缀 监督学习 推理能力 教育技术

📋 核心要点

  1. 现有的在政策蒸馏方法存在学生生成的前缀可能包含错误推理或不熟悉模式的问题，导致教师监督的可靠性下降。
  2. 本文提出的学生前缀教师适应（SPTA）方法，通过强化学习训练教师适应学生的状态，从而提高教师的指导能力。
  3. 实验结果显示，SPTA在数学推理基准测试中，相较于标准OPD和任务级RLVR适应教师，显著提升了学生的平均表现。

📝 摘要（中文）

在政策蒸馏（OPD）中，学生生成的前缀可能包含推理错误或不熟悉的模式，影响教师的监督可靠性。为了解决这一教师端的分布不匹配问题，本文提出了学生前缀教师适应（SPTA）方法。该方法通过收集随机长度的学生回滚前缀，并利用强化学习进行教师的适应训练，使教师能够从学生引导的状态中恢复，而不是简单模仿学生的推理。实验结果表明，SPTA在数学推理基准测试中显著提升了学生的平均表现。

🔬 方法详解

问题定义：本文要解决的问题是教师在政策蒸馏中面临的分布不匹配，尤其是学生生成的前缀可能导致教师监督不可靠，影响学习效果。现有方法未能有效应对这一挑战。

核心思路：论文的核心思路是通过学生前缀教师适应（SPTA）方法，使教师能够适应学生生成的状态，而不是简单模仿学生的推理过程。通过强化学习，教师在特定上下文中学习如何从学生的状态中恢复。

技术框架：整体流程包括在OPD开始前收集随机长度的学生回滚前缀，然后使用强化学习与可验证奖励（RLVR）训练教师，使其能够在给定前缀的情况下进行推理。训练完成后，适应后的教师用于标准的OPD。

关键创新：最重要的技术创新点在于教师的适应能力，通过强化学习使教师能够在学生的状态下进行有效推理，而不是依赖学生的错误推理。与现有方法相比，SPTA强调教师的主动适应性。

关键设计：在设计中，使用了随机长度的前缀收集策略，强化学习的奖励机制基于教师在特定上下文中给出的最终答案的正确性，确保教师学习到有效的推理策略。

🖼️ 关键图片

fig_0

📊 实验亮点

实验结果表明，使用SPTA方法的学生在数学推理基准测试中的平均表现显著提高，超过了标准OPD和任务级RLVR适应教师的表现，具体提升幅度未知。这一结果强调了教师适应能力在学生学习过程中的重要性。

🎯 应用场景

该研究的潜在应用领域包括教育技术、智能辅导系统和自动化推理工具。通过提高教师模型的适应能力，能够在更复杂的学习环境中提供更可靠的指导，进而提升学生的学习效果和推理能力。未来，该方法可能推动更智能的教育系统的发展，帮助学生在个性化学习中获得更好的支持。

📄 摘要（原文）

On-policy distillation (OPD) mitigates the student's exposure bias by optimizing on student-generated trajectories. However, student-generated prefixes may contain reasoning errors or follow patterns unfamiliar to the teacher, undermining the reliability of its token-level supervision. This degradation becomes more pronounced as prefixes grow longer. To address this teacher-side distribution mismatch, we propose Student-Prefix Teacher Adaptation (SPTA), which adapts the teacher to the states on which it is queried during distillation. Specifically, before OPD starts, we collect student rollout prefixes with random lengths and continually train the teacher to continue from the prefixes using reinforcement learning with verifiable rewards (RLVR). By treating each prefix as context and rewarding correct final answers, the teacher learns to recover from student-induced states rather than imitate the student's reasoning. Then, the adapted teacher is used for standard OPD, with no changes to the distillation objective. Experiments on mathematical reasoning benchmarks show that our SPTA improves average student performance over standard OPD and OPD with task-level RLVR-adapted teachers. These results highlight the importance of adapting teachers not only to solve problems independently, but also to provide reliable guidance on the states their students actually visit.