Towards Understanding On-Policy Distillation through the Lens of Test-Time Scaling

📄 arXiv: 2608.11829v1 📥 PDF

作者: Xinmu Ge, Zizhuo Zhang, Yu Huang, Jianing Zhu, Lin Yuan, Wanli Gu, Weichang Wu, Weiran Huang, Xiaolu Zhang, Bo Han, Jun Zhou, Jiangchao Yao

分类: cs.LG, cs.CL

发布日期: 2026-08-12

备注: 15 pages, 8 figures

💡 一句话要点

通过测试时缩放理解在政策蒸馏中的作用

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 在政策蒸馏 大型语言模型 推理能力 采样效率 性能评估 问题可解性 机器学习

📋 核心要点

  1. 现有的在政策蒸馏方法被认为能够提升学生模型的推理能力，但其实际效果存在争议。
  2. 论文通过测试时缩放的视角，分析OPD的性能表现，提出了对现有观点的重新审视。
  3. 实验结果显示，OPD在采样效率上有显著提升，但在推理能力扩展上存在局限性。

📝 摘要（中文）

在这项研究中，我们探讨了在政策蒸馏（OPD）对大型语言模型（LLM）推理能力提升的影响。我们通过调整采样预算K，使用pass@K和avg@K评估性能，发现OPD训练的模型在不同采样预算下保持了优越的avg@K性能，但在pass@K上，优势逐渐转向预OPD基础模型。这表明OPD主要提升了采样效率，而非持续扩展学生模型的推理能力边界。此外，问题级可解性分析显示，OPD使得更多原本可解的问题变得不可解，暗示OPD的收益主要源于采样效率的提升，而非真正获取新的推理能力。

🔬 方法详解

问题定义：本研究旨在探讨在政策蒸馏（OPD）对大型语言模型推理能力的真实影响。现有方法普遍认为OPD可以提升学生模型的推理能力，但缺乏系统的实证分析。

核心思路：通过调整采样预算K，使用pass@K和avg@K指标评估OPD的性能，分析其在不同采样条件下的表现，揭示OPD的真实效用。

技术框架：研究采用了多种OPD变体，评估其在不同K值下的表现，重点关注avg@K和pass@K的动态变化。整体流程包括数据采样、模型训练和性能评估三个主要阶段。

关键创新：本研究的创新在于通过测试时缩放的视角，揭示了OPD的“虚幻蒸馏”特性，即其性能提升主要源于采样效率，而非真正的推理能力扩展。

关键设计：在实验中，设置了不同的采样预算K，并使用pass@1024作为可解性分析的标准，发现OPD导致更多可解问题变为不可解，反映出其在能力扩展上的局限性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，OPD训练的模型在avg@K性能上优于其他变体，但在pass@K上，随着K的增加，优势逐渐转向预OPD基础模型。这表明OPD主要提升了采样效率，而非推理能力的扩展，且在pass@1024的可解性分析中，OPD使得更多可解问题变为不可解。

🎯 应用场景

该研究的发现对大型语言模型的训练和应用具有重要意义，特别是在需要高效推理的场景中，如自然语言处理、对话系统和智能问答等。理解OPD的真实效果可以帮助研究者更好地设计模型训练策略，从而提升模型的实际应用性能。

📄 摘要（原文）

On-policy distillation (OPD) has emerged as a promising post-training technique for enhancing LLM reasoning. It is commonly believed to enable the student model to distill knowledge from a stronger teacher model, thereby expanding capabilities beyond the pre-OPD base model. In this study, we examine this view through the lens of test-time scaling by varying the sampling budget K and evaluating performance with pass@K and avg@K. Specifically, across several OPD variants, we observe that OPD-trained models maintain superior avg@K performance across sampling budgets, while the advantage in pass@K gradually shifts to the pre-OPD base models as K increases. These results suggest that OPD primarily improves sampling efficiency rather than consistently expanding the student's reasoning capability boundary. The pass@K dynamics throughout OPD training further reveal a progressive shift toward stronger small-K performance at the expense of the large-K capability boundary. Furthermore, a problem-level solvability analysis using pass@1024 as the criterion reveals an asymmetry: OPD causes more previously solvable problems to become unsolvable than previously unsolvable problems to become solvable. Together, these findings suggest that, from the perspective of capability expansion, OPD behaves more like an "illusory distillation": its apparent gains arise primarily from improved sampling efficiency rather than from acquiring genuinely new reasoning capabilities from the teacher.