Dense Supervision, Sparse Updates: On the Sparsity and Geometry of On-Policy Distillation
作者: Guo Yu, Wenlin Liu, Yulan Hu, Hao-Xuan Ma, Jun-Peng Jiang, Han-Jia Ye
分类: cs.LG
发布日期: 2026-06-12
💡 一句话要点
提出稀疏更新机制以优化在政策蒸馏的效果
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 在政策蒸馏 稀疏更新 密集监督 模型优化 计算机视觉 自然语言处理 优化器比较
📋 核心要点
- 现有的在政策蒸馏方法对模型参数的更新机制不够明确，导致其效果难以优化。
- 论文提出了一种稀疏更新机制，利用密集的教师监督来指导学生模型的学习过程。
- 实验结果表明，稀疏更新的子网络在性能上接近完整OPD，且在不同优化器中表现出显著差异。
📝 摘要（中文）
在政策蒸馏（OPD）作为一种后训练方法中，结合了在政策学生轨迹和密集教师监督的优点，但其对模型参数的影响尚不明确。通过对多种语言和视觉-语言模型的分析，我们发现OPD风格的更新具有稀疏性和几何特征。具体而言，这些更新在层间分布稀疏且主要集中在前馈网络上，训练发现的子网络几乎能恢复与完整OPD相同的性能。此外，稀疏的SGD优化器在性能上不如AdamW，可能是因为密集的教师监督保留了异质的坐标梯度尺度。更新在数值上是满秩的，但在谱上集中，主要偏离源权重的主奇异子空间，这表明OPD保留了重要的几何特征。
🔬 方法详解
问题定义：本论文旨在探讨在政策蒸馏（OPD）中，如何有效地更新模型参数，尤其是现有方法在参数更新机制上的不明确性导致的性能瓶颈。
核心思路：通过分析OPD风格的更新机制，论文提出了一种稀疏更新策略，强调了密集教师监督在指导学生学习过程中的重要性。
技术框架：整体架构包括教师模型提供密集监督，学生模型通过稀疏更新进行学习。主要模块包括教师网络、学生网络和优化器，优化器的选择对更新效果有显著影响。
关键创新：论文的主要创新在于揭示了OPD更新的稀疏性和几何特征，指出稀疏结构在性能恢复上的有效性，并与传统的密集参数重写方法形成对比。
关键设计：在实验中，使用了不同的优化器（如SGD和AdamW），发现稀疏的SGD优化器在性能上不如AdamW，原因在于后者的自适应缩放机制在密集教师监督下更为有效。
🖼️ 关键图片
📊 实验亮点
实验结果显示，使用稀疏更新的子网络在性能上几乎与完整OPD相当，且在不同优化器的对比中，稀疏SGD优化器的表现不如AdamW，后者在密集教师监督下的自适应缩放机制显著提升了模型性能。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理和计算机视觉中的模型蒸馏技术，尤其是在需要高效模型更新和性能优化的场景中。通过优化蒸馏过程，可以提升模型在实际应用中的表现，具有重要的实际价值和未来影响。
📄 摘要（原文）
On-policy distillation (\textsc{OPD}) has recently become a prominent post-training recipe as it combines two desirable ingredients: on-policy student trajectories and dense teacher supervision, yet how this hybrid changes a model's parameters remains unclear. Across several language and vision-language model pairs and use cases, our analysis yields two main findings. On sparsity, \textsc{OPD}-style updates are small and coordinate-sparse. They are distributed across layers and are usually FFN-heavy. This sparse structure is operationally useful: training only the discovered subnetwork recovers nearly the same performance as full \textsc{OPD}. However, the sparsity-inducing SGD optimizer underperforms AdamW in our optimizer ablation, likely because dense teacher supervision preserves heterogeneous coordinate-wise gradient scales where AdamW's adaptive scaling remains useful. On geometry, the updates are numerically full-rank but spectrally concentrated; they lie mostly away from the principal singular subspaces of the source weights and fall disproportionately on coordinates where the source weights are close to zero. These findings suggest that dense teacher supervision does not turn \textsc{OPD} into ordinary dense parameter rewriting; instead, \textsc{OPD} retains important geometric signatures of on-policy post-training.