PromptKD: Distilling Student-Friendly Knowledge for Generative Language Models via Prompt Tuning

📄 arXiv: 2402.12842v3 📥 PDF

作者: Gyeongman Kim, Doohyuk Jang, Eunho Yang

分类: cs.CL, cs.AI, cs.LG

发布日期: 2024-02-20 (更新: 2024-09-27)

备注: EMNLP 2024 Findings. Our project page: https://promptkd.github.io

💡 一句话要点

提出PromptKD以解决生成语言模型知识蒸馏问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 知识蒸馏 生成语言模型 提示调优 模型压缩 学生友好知识 推理成本 深度学习

📋 核心要点

  1. 现有的知识蒸馏方法在生成语言模型中的应用较少，尤其是学生友好的知识蒸馏尚未被探索。
  2. PromptKD提出了一种新方法，通过提示调优来实现知识蒸馏，避免了微调整个教师模型的复杂性。
  3. 实验结果显示，PromptKD在多个数据集上表现优异，性能超过了现有基线，同时参数增加极小。

📝 摘要（中文）

近年来，大型语言模型（LLMs）的进展引发了对推理成本的关注，迫切需要研究模型压缩。知识蒸馏（KD）作为一种重要的压缩方法，在生成语言模型中的研究相对较少。本文提出PromptKD，首次在KD中利用提示调优，使生成语言模型能够传递学生友好的知识。与以往需要微调整个教师模型的研究不同，PromptKD仅通过添加少量提示标记并在学生指导下调优提示，达到类似效果。大量实验表明，PromptKD在指令跟随数据集上实现了最先进的性能，同时仅增加了教师参数的0.0007%。进一步分析表明，蒸馏学生友好的知识有效缓解了整个训练过程中的曝光偏差，提升了性能。

🔬 方法详解

问题定义：本文旨在解决生成语言模型中知识蒸馏的不足，尤其是如何有效提取学生友好的知识以降低推理成本。现有方法通常需要微调整个教师模型，导致计算开销大且效率低下。

核心思路：PromptKD的核心思路是首次在知识蒸馏中引入提示调优，通过添加少量提示标记并仅调优这些提示，来实现知识的有效转移。这种方法不仅简化了过程，还提高了模型的适应性。

技术框架：PromptKD的整体架构包括教师模型和学生模型，教师模型负责生成知识，而学生模型通过提示调优来学习这些知识。主要流程包括：1) 添加提示标记；2) 在学生模型中调优这些提示；3) 通过学生指导来优化知识转移。

关键创新：PromptKD的主要创新在于首次将提示调优应用于知识蒸馏，显著降低了对教师模型的依赖，使得知识蒸馏过程更加高效。与传统方法相比，PromptKD在参数使用上更加经济。

关键设计：在设计上，PromptKD仅增加了教师模型参数的0.0007%作为提示，采用了特定的损失函数来优化学生模型的学习过程，确保了知识的有效传递。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

PromptKD在多个指令跟随数据集上实现了最先进的性能，超越了现有的基线方法，且仅增加了0.0007%的教师参数。这一显著的性能提升表明，蒸馏学生友好的知识有效缓解了训练过程中的曝光偏差，提升了模型的整体表现。

🎯 应用场景

该研究具有广泛的应用潜力，尤其在需要高效推理的生成任务中，如对话系统、文本生成和自动问答等领域。通过降低推理成本，PromptKD能够使得大型语言模型在资源受限的环境中更具实用性，推动智能应用的普及与发展。

📄 摘要（原文）

Recent advancements in large language models (LLMs) have raised concerns about inference costs, increasing the need for research into model compression. While knowledge distillation (KD) is a prominent method for this, research on KD for generative language models like LLMs is relatively sparse, and the approach of distilling student-friendly knowledge, which has shown promising performance in KD for classification models, remains unexplored in generative language models. To explore this approach, we propose PromptKD, a simple yet effective method that utilizes prompt tuning - for the first time in KD - to enable generative language models to transfer student-friendly knowledge. Unlike previous works in classification that require fine-tuning the entire teacher model for extracting student-friendly knowledge, PromptKD achieves similar effects by adding a small number of prompt tokens and tuning only the prompt with student guidance. Extensive experiments on instruction-following datasets show that PromptKD achieves state-of-the-art performance while adding only 0.0007% of the teacher's parameters as prompts. Further analysis suggests that distilling student-friendly knowledge alleviates exposure bias effectively throughout the entire training process, leading to performance enhancements.