Mismatch Matters: On-Policy Distillation Beyond Token Agreement
作者: Zichao Yu, Chengzhi Yu, Shengze Xu, Yujin Han, Bingqing Jiang, Xu Wang, Difan Zou
分类: cs.AI, cs.CL
发布日期: 2026-08-10
🔗 代码/项目: GITHUB
💡 一句话要点
提出TIDE以解决长文本生成中的教师-学生不匹配问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 在线蒸馏 教师-学生模型 标记一致性 数学推理 Hellinger塑形 模型校正 自然语言处理
📋 核心要点
- 现有的在线蒸馏方法在处理教师-学生模型之间的一致性时，可能导致学生模型生成的响应存在全局性缺陷。
- 论文提出的TIDE方法通过区分学生过剩标记和缺失标记，采用有界Hellinger塑形和教师Top-K注入来解决不匹配问题。
- 在多个数学推理基准上，TIDE相较于标准OPD提升了Avg@8从6.9%到20.3%，并显著减少了响应长度和格式化失败。
📝 摘要（中文）
现有的在线蒸馏方法（OPD）在现代大语言模型的后训练流程中占据核心地位，但我们揭示了一种失败模式：退化一致性，学生模型通过重复循环实现与教师模型的近乎完美的标记一致性，尽管其响应在全局上存在缺陷。因此，我们将重点从一致性转向教师-学生不匹配，发现不匹配的标记主要分为两类：学生过剩标记和学生缺失标记。为了解决这些不匹配问题，我们提出了TIDE（标记级独立缺失-过剩校正），该方法通过有界的Hellinger塑形来抑制最严重的过剩标记，并通过分析性教师Top-K注入来恢复缺失的概率质量。实验结果表明，TIDE在多个数学推理基准上显著优于标准OPD和最近的标记选择及奖励塑形基线。
🔬 方法详解
问题定义：论文要解决的问题是在线蒸馏过程中教师与学生模型之间的标记一致性导致的全局性响应缺陷，现有方法在处理教师-学生不匹配时存在不足。
核心思路：论文的核心思路是将注意力从一致性转向教师-学生不匹配，通过识别并校正学生生成的过剩和缺失标记来改善模型性能。
技术框架：整体架构包括两个主要模块：一是通过有界Hellinger塑形抑制过剩标记，二是通过教师Top-K注入恢复缺失的概率质量。该框架不要求缺失标记被采样。
关键创新：最重要的技术创新点在于提出了TIDE方法，能够有效处理教师-学生模型之间的标记不匹配问题，与现有的在线蒸馏方法相比，提供了更为稳定和有效的校正机制。
关键设计：在设计中，采用了有界Hellinger塑形来控制过剩标记的影响，同时通过分析性教师Top-K注入来增强学生模型对教师推理模式的学习能力。
🖼️ 关键图片
📊 实验亮点
实验结果显示，TIDE在强教师-学生不匹配的情况下，Avg@8从6.9%提升至20.3%，响应长度减少了3.6倍，并显著降低了格式化失败的发生率，展现出优越的性能。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理中的文本生成、对话系统和教育技术等。通过改善教师-学生模型之间的知识转移，TIDE能够提升模型在复杂任务中的表现，具有重要的实际价值和未来影响。
📄 摘要（原文）
On-policy distillation (OPD) has emerged as a core component of modern LLM post-training pipelines, yet we reveal a failure mode: degenerate agreement, where students exploit repetitive loops to achieve near-perfect token agreement with the teacher despite globally flawed responses. We therefore shift our focus from agreement to teacher-student mismatch, and find that mismatch tokens can be mainly categorized into two types: student-excess tokens and student-deficit tokens. Student-excess tokens are generated by the student but assigned near-zero probability by the teacher; their log-ratio corrections grow unbounded and destabilize the update. Student-deficit tokens, in contrast, are preferred by the teacher but rarely sampled by the student; their absence blocks the transfer of the teacher's reasoning patterns. To tackle these mismatch directions, we propose TIDE (Token-level Independent Deficit-Excess correction), which applies bounded Hellinger shaping to suppress the most severe sampled excesses and an analytic teacher top-$K$ injection to restore deficient probability mass without requiring deficit tokens to be sampled. Across mathematical reasoning benchmarks with multiple Qwen3 teacher-student pairs, TIDE consistently outperforms standard OPD and recent token-selection and reward-shaping baselines. Moreover, the gains of TIDE are more pronounced under strong teacher-student mismatch, where it improves Avg@8 from 6.9% to 20.3%, reduces average response length by a factor of 3.6, and substantially reduces formatting failures. Code is available at https://github.com/yzc-666/TIDE