Rethinking On-Policy Distillation of Large Language Models II: One Training Example
作者: Zixuan Fu, Bingxiang He, Yuxin Zuo, Haohuan Huang, Jinqian Zhang, Ruhang Xiao, Cheng Qian, Qinyu Luo, Huan-ang Gao, Yudong Wang, Zhiyuan Liu, Ning Ding, Chaojun Xiao
分类: cs.AI, cs.CL
发布日期: 2026-09-03
备注: 29 pages, 20 figures
💡 一句话要点
提出单一查询的在线蒸馏方法以提升大语言模型性能
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 在线蒸馏 大语言模型 状态覆盖率 训练数据 模型对齐 性能提升 自然语言处理
📋 核心要点
- 现有的在线蒸馏方法主要关注算法行为，训练数据的作用尚不明确，导致对数据使用的理解不足。
- 本文提出在单一查询上进行在线蒸馏，通过分析状态覆盖率和学生与教师的对齐速率，探讨训练数据的影响。
- 实验结果表明，单一查询的在线蒸馏在多个步骤中持续改进，达到与全数据训练相似的效果，且状态覆盖率显著提高。
📝 摘要（中文）
在线蒸馏（OPD）结合了学生生成的回滚数据和来自教师的密集标记级监督。现有研究主要关注其算法行为，而训练数据的作用尚不明确。本文通过在单一查询上进行训练，探讨了这一作用。单次OPD在多个步骤中持续改进，并在各任务领域和模型家族中恢复了大部分全数据OPD的收益。我们通过训练期间访问的状态和学生与教师对齐的速率来解释这一结果。单一查询的状态覆盖率达到71.5%，并在前100步内大部分实现。添加语义上不同的查询可以提高覆盖率和验证准确性，直到16个查询达到98.9%，并与全数据训练相匹配。尽管如此，无论OPD是在单一查询还是整个数据集上训练，对齐速度都相似，固定状态集的吸收也需要数百步。因此，OPD在数据上过度供给但在算法上匮乏。我们希望这些发现能引导未来的研究，提升OPD的步骤效率，并促使重新审视数据及其在前沿后训练中的成功机制。
🔬 方法详解
问题定义：本文旨在解决在线蒸馏中训练数据作用不明确的问题。现有方法未能充分利用训练数据，导致对模型性能的提升有限。
核心思路：通过在单一查询上进行在线蒸馏，研究训练数据的最小化作用，分析状态覆盖率与学生对教师的对齐速率，以此提升模型性能。
技术框架：整体架构包括单一查询的生成、状态覆盖率的计算和学生与教师的对齐过程。主要模块包括回滚数据生成、状态访问和对齐评估。
关键创新：最重要的创新在于提出了单一查询的在线蒸馏方法，证明了在数据稀缺情况下仍能实现显著的性能提升，与现有方法相比，强调了状态覆盖率的重要性。
关键设计：在实验中，设置了多个语义上不同的查询以提高状态覆盖率，并通过验证准确性评估模型性能，关键参数包括查询数量和训练步骤的选择。实验表明，16个查询的组合能够达到98.9%的状态覆盖率。
🖼️ 关键图片
📊 实验亮点
实验结果显示，单一查询的在线蒸馏在多个步骤中持续改进，状态覆盖率达到71.5%，并在前100步内实现大部分覆盖。添加16个语义不同的查询后，状态覆盖率提升至98.9%，与全数据训练相匹配，验证准确性也显著提高。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理、对话系统和智能助手等。通过优化在线蒸馏过程，可以在数据稀缺的情况下提升大语言模型的性能，具有重要的实际价值和未来影响。
📄 摘要（原文）
On-policy distillation (OPD) combines student-generated rollouts with dense token-level supervision from a teacher. Existing work has mainly studied its algorithmic behavior, leaving the role of training data unclear. We examine this role at the data-minimal limit by training on a single query. One-shot OPD keeps improving for hundreds of steps and recovers most of full-data OPD's gain across task domains and model families. We explain this result through the states visited during training and the rate at which the student aligns with the teacher. We measure \emph{state coverage}, the fraction of the states full-data OPD visits that a query set's rollouts reach. A single query already reaches (71.5\%), most of it within the first 100 steps. Adding semantically distinct queries raises coverage and validation accuracy together, until 16 queries reach (98.9\%) and match full-data training. Yet alignment slows at a similar pace whether OPD trains on one query or the whole dataset, and even a fixed set of states takes hundreds of steps to absorb. OPD is therefore data-overfed but algorithm-starved. Its rollouts quickly expose broad supervision, while the student absorbs that supervision increasingly slowly. The state-coverage result extends to multi-teacher OPD, where 16 semantically diverse queries per domain match full-data MOPD. As a further stress test, content-light templates and off-domain WildChat queries also approach the real-query baseline. Task content and induced state coverage can therefore come apart. We hope these findings direct future work toward the step efficiency of OPD, and prompt a re-examination of the data and the mechanisms behind its recent successes in frontier post-training.