Revisiting Knowledge Distillation for Autoregressive Language Models

📄 arXiv: 2402.11890v2 📥 PDF

作者: Qihuang Zhong, Liang Ding, Li Shen, Juhua Liu, Bo Du, Dacheng Tao

分类: cs.CL

发布日期: 2024-02-19 (更新: 2024-06-17)

备注: Accepted to ACL2024 Main Conference

💡 一句话要点

提出自适应教学方法以改善自回归语言模型的知识蒸馏效果

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 知识蒸馏 自回归语言模型 自适应教学 模型压缩 性能提升

📋 核心要点

  1. 现有的知识蒸馏方法在自回归语言模型中面临挑战，较大的教师模型可能导致学生模型性能下降。
  2. 本文提出的自适应教学方法（ATKD）旨在通过减少死记硬背，使教学过程更加灵活和多样化。
  3. 实验结果表明，ATKD能够有效提升学生模型的泛化能力，多个基线KD方法在不同模型类型和规模上均取得显著性能提升。

📝 摘要（中文）

知识蒸馏（KD）是一种常用的方法，通过训练较小的学生模型来压缩教师模型，从而降低推理成本和内存占用。然而，在自回归语言模型的背景下，较大的教师模型可能导致学生模型性能显著下降。为了解决这一问题，本文进行了一系列分析，发现不同的标记具有不同的教学模式，忽视这一点会导致性能下降。基于此，本文提出了一种简单而有效的自适应教学方法（ATKD），旨在减少死记硬背，使教学更加多样化和灵活。通过在8个语言模型任务上的广泛实验，ATKD显著提升了多种基线KD方法的性能，平均提升达3.04%。

🔬 方法详解

问题定义：本文要解决的问题是自回归语言模型中知识蒸馏的效果不佳，尤其是当教师模型较大时，学生模型的性能可能会显著下降。现有方法未能考虑不同标记的教学模式，导致性能下降。

核心思路：论文的核心思路是提出自适应教学方法（ATKD），通过多样化和灵活的教学方式，减少学生模型的死记硬背现象，从而提升知识蒸馏的效果。

技术框架：ATKD的整体架构包括教师模型和学生模型的交互过程，主要模块包括自适应教学策略的设计和实施，以及对不同标记的教学模式的分析与应用。

关键创新：ATKD的主要创新在于引入了自适应的教学策略，针对不同标记的特性进行灵活的教学安排，这与传统的知识蒸馏方法有本质区别。

关键设计：在ATKD中，设计了特定的损失函数来平衡不同标记的教学效果，并通过实验确定了最佳的参数设置，以确保学生模型的有效学习和泛化能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，ATKD方法在8个语言模型任务上显著提升了多种基线知识蒸馏方法的性能，平均提升达3.04%。这一结果表明，ATKD不仅改善了学生模型的学习效果，还增强了其泛化能力，具有广泛的适用性。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、机器翻译和对话系统等。通过提升自回归语言模型的知识蒸馏效果，ATKD能够帮助开发更高效的语言模型，降低计算资源消耗，同时提高模型的泛化能力，具有重要的实际价值和未来影响。

📄 摘要（原文）

Knowledge distillation (KD) is a common approach to compress a teacher model to reduce its inference cost and memory footprint, by training a smaller student model. However, in the context of autoregressive language models (LMs), we empirically find that larger teacher LMs might dramatically result in a poorer student. In response to this problem, we conduct a series of analyses and reveal that different tokens have different teaching modes, neglecting which will lead to performance degradation. Motivated by this, we propose a simple yet effective adaptive teaching approach (ATKD) to improve the KD. The core of ATKD is to reduce rote learning and make teaching more diverse and flexible. Extensive experiments on 8 LM tasks show that, with the help of ATKD, various baseline KD methods can achieve consistent and significant performance gains (up to +3.04% average score) across all model types and sizes. More encouragingly, ATKD can improve the student model generalization effectively.