Understanding Knowledge Distillation in Post-Training: When It Helps and When It Fails
作者: Xin Liu, Simin Ma, Shujian Liu, Song Wang, Sathish Reddy Indurthi, Haoyun Deng, Lu Wang, Kaiqiang Song
分类: cs.CL
发布日期: 2026-06-22
💡 一句话要点
提出后训练阶段知识蒸馏策略以提升小模型性能
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 知识蒸馏 后训练 小模型 低资源环境 自然语言处理 模型优化 合成数据
📋 核心要点
- 现有方法主要集中在任务特定或小规模设置，后训练阶段的知识蒸馏研究较少，限制了其应用潜力。
- 论文提出了一种系统的后训练阶段知识蒸馏策略，特别是在低数据环境中，通过从强教师模型中提取知识来提升学生模型性能。
- 实验结果表明，在低数据情况下，KD显著优于SFT，并且在数据丰富时，蒸馏自强教师模型仍能带来显著提升。
📝 摘要（中文）
大型语言模型（LLMs）在多项任务中表现出色，但其高计算成本限制了在资源受限环境中的部署。知识蒸馏（KD）通过将知识从大型教师模型转移到小型学生模型，提供了一种实用解决方案。本文系统研究了后训练阶段的KD，发现其在低数据环境中优于监督微调（SFT），但随着训练数据的增加，其优势减弱。通过从更强的教师模型蒸馏知识，即使在数据丰富的情况下，仍能显著提升学生模型性能。此外，针对特定领域的低资源场景，提出了一种两阶段KD策略，利用合成教师标注数据，随后在人工标注上进行精细化，持续提升学生模型的表现。
🔬 方法详解
问题定义：本文旨在解决后训练阶段知识蒸馏在资源受限环境中的应用问题。现有方法多集中于任务特定设置，缺乏对一般指令跟随模型的深入研究。
核心思路：提出了一种系统的知识蒸馏策略，特别关注低数据环境下的模型性能提升。通过从强教师模型中提取知识，帮助学生模型克服数据稀缺带来的挑战。
技术框架：整体架构包括两个主要阶段：第一阶段利用合成教师标注数据进行初步训练，第二阶段在人工标注数据上进行精细化调整，以提升模型的泛化能力。
关键创新：最重要的创新在于提出了两阶段的知识蒸馏策略，结合合成数据和人工标注，显著提升了学生模型在低资源场景下的表现。与传统的单一微调方法相比，提供了更有效的知识获取途径。
关键设计：在参数设置上，采用了适应性损失函数以平衡教师与学生模型的知识传递，同时在网络结构上，确保了学生模型能够有效吸收教师模型的知识。
🖼️ 关键图片
📊 实验亮点
实验结果显示，在低数据情况下，知识蒸馏方法的性能提升幅度超过了监督微调，且在数据丰富的情况下，从强教师模型蒸馏知识仍能带来显著的性能提升，验证了该方法的有效性和实用性。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理、智能助手和其他需要高效模型的场景。通过优化知识蒸馏过程，可以在资源受限的设备上实现高性能的语言理解和生成，具有重要的实际价值和广泛的应用前景。
📄 摘要（原文）
Large language models (LLMs) achieve strong performance across many tasks, but their high computational cost limits deployment in resource-constrained environments. Knowledge Distillation (KD) offers a practical solution by transferring knowledge from a teacher model of a larger size to a smaller student model. While prior work has mainly examined task-specific or small-scale settings, the post-training stage for building general instruction-following models has received limited attention. In this paper, we conduct a systematic study of KD in post-training using the large-scale Tulu 3 dataset. We find that KD outperforms supervised fine-tuning (SFT) in low-data regimes, but its advantage diminishes as more training data is added. Distilling from a stronger instruction-tuned teacher restores substantial gains even with abundant data, indicating that KD remains effective when the teacher provides knowledge that the student cannot easily acquire from the training data alone. We further study domain-specific, low-resource scenarios and propose a two-stage KD strategy that leverages synthetic teacher-labeled data followed by refinement on human annotations. This method consistently improves student performance, providing practical guidance for building compact models in data-scarce environments.