Every Token Needs Its Own Teacher: Multi-teacher Adaptive On-policy Self-distillation

📄 arXiv: 2610.40574v1 📥 PDF

作者: Yifu Luo, Chuang Ma, Zeyu Chen, Enkelejda Kasneci, Qi Chen, Gjergji Kasneci

分类: cs.CL

发布日期: 2026-10-29

备注: Preprint

🔗 代码/项目: GITHUB

💡 一句话要点

提出多教师自适应在线自蒸馏方法以提升语言模型性能

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 在线自蒸馏 多教师学习 语言模型 自适应学习 数学推理 机器学习 自然语言处理

📋 核心要点

  1. 现有的在线自蒸馏方法在教师选择上要么固定，要么仅在响应间变化，无法满足每个token的个性化需求。
  2. 本文提出多教师自适应在线自蒸馏（MTA-OPSD），允许每个token在训练中自适应选择其偏好的教师，解决了现有方法的不足。
  3. 实验表明，MTA-OPSD在Qwen3模型的数学推理任务上表现优异，平均提升达5.9%，显示出token级别教师适应的重要性。

📝 摘要（中文）

在线自蒸馏（OPSD）已被证明对大型语言模型的后训练有效，但现有方法在教师选择上存在局限性。本文提出每个token都需要独立教师的观点，验证了不同token对教师的偏好差异，并通过投票和基于KL散度的选择方法识别出每个token的最佳教师。基于此，我们提出了多教师自适应在线自蒸馏（MTA-OPSD），使每个token在训练过程中能够自适应选择其偏好的教师。实验结果表明，MTA-OPSD在数学推理任务上相较于现有OPSD方法平均提升了5.9%，强调了在token级别上适应教师监督的重要性。

🔬 方法详解

问题定义：现有的在线自蒸馏方法在教师选择上存在局限性，教师要么在训练过程中固定，要么仅在响应间变化，无法针对每个token的特定需求进行优化。

核心思路：本文提出每个token都需要独立的教师，通过验证不同token对教师的偏好差异，设计了多教师自适应在线自蒸馏（MTA-OPSD），使每个token能够在训练中选择其最优教师。

技术框架：MTA-OPSD构建了一个多教师池，包含多个候选教师。在训练过程中，每个token根据其偏好动态选择教师，整个过程包括教师偏好识别、选择和反馈。

关键创新：MTA-OPSD是首个在token级别上进行自适应在线自蒸馏的方法，突破了传统方法的限制，能够针对每个token的特性进行个性化的教师选择。

关键设计：在实现中，采用了基于投票和KL散度的选择机制来识别每个token的最佳教师，确保教师选择的准确性和有效性。

📊 实验亮点

实验结果显示，MTA-OPSD在Qwen3模型的数学推理任务上相较于现有的在线自蒸馏方法平均提升了5.9%。这一显著的性能提升证明了在token级别上进行教师适应的重要性，为后续研究提供了新的方向。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、对话系统和智能问答等。通过提升语言模型的性能，MTA-OPSD可以在实际应用中提供更高质量的响应，增强用户体验，并推动智能助手等技术的发展。

📄 摘要（原文）

On-policy Self-distillation (OPSD) has proven effective for post-training large language models by constructing a teacher conditioned on privileged references. However, existing approaches keep the teacher fixed either throughout training by consistently exposing it to the full reference, or within each response by adaptively varying partial reference exposure only across responses. In this paper, we argue that neither of them is sufficient. Instead, every token needs its own teacher, as the teacher preference can vary token by token within the same response. Through a teacher-intervention pilot study, we validate that the teacher preference differs across tokens, and reveal that a preferred teacher can be identified for each token through majority voting and KL-based selection. Motivated by these findings, we propose Multi-teacher Adaptive On-policy Self-Distillation (MTA-OPSD), the first token-level adaptive OPSD method. Our method constructs a multi-teacher pool consisting of candidate teachers, and enables every token to adaptively select its preferred teacher during training. Experiments with Qwen3 models on mathematical reasoning tasks show that MTA-OPSD consistently outperforms existing OPSD approaches with an average gain of up to $+5.9$ over the base model, highlighting the importance of adapting teacher supervision at the token level. The code is available at https://github.com/xingzhejun/MTA-OPSD.