Multistage Collaborative Knowledge Distillation from a Large Language Model for Semi-Supervised Sequence Generation

📄 arXiv: 2311.08640v4 📥 PDF

作者: Jiachen Zhao, Wenlong Zhao, Andrew Drozdov, Benjamin Rozonoyer, Md Arafat Sultan, Jay-Yoon Lee, Mohit Iyyer, Andrew McCallum

分类: cs.CL, cs.LG

发布日期: 2023-11-15 (更新: 2024-08-04)

备注: ACL 2024

💡 一句话要点

提出多阶段协作知识蒸馏方法以解决半监督序列生成问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 半监督学习 知识蒸馏 序列生成 大型语言模型 伪标签 多阶段训练 自然语言处理

📋 核心要点

  1. 现有的半监督序列生成方法在标注样本稀缺的情况下，难以有效地微调模型，导致性能不足。
  2. 论文提出的MCKD方法通过多阶段的协作知识蒸馏，利用LLM生成高质量伪标签，提升学生模型的泛化能力。
  3. 实验结果显示，MCKD在CRAFT生物医学解析任务中，使用50个标注样本的情况下，性能超越了LLM教师和传统KD方法，且与500个标注样本的监督微调效果相当。

📝 摘要（中文）

本研究探讨了半监督序列生成任务，其中标注样本稀缺，难以微调模型，而少量提示的大型语言模型（LLMs）仍有改进空间。我们发现，从少量提示的LLM蒸馏出的学生模型在未见样本上通常能比教师模型更好地泛化。学生模型能够从教师生成的高质量伪标签中学习一般模式，而非低质量伪标签。基于这一发现，我们提出了一种新方法——多阶段协作知识蒸馏（MCKD），该方法通过几次提示LLM生成未标记数据的伪标签，并在每个阶段的迭代KD过程中，训练新的学生对伪标签数据的不同分区进行学习，进而生成新的伪标签。我们在四个句法和语义解析数据集上进行了广泛实验，结果表明MCKD在低资源半监督序列生成中的有效性。

🔬 方法详解

问题定义：本论文旨在解决半监督序列生成任务中，由于标注样本稀缺，现有方法无法有效微调模型的问题。现有方法在处理低资源数据时，往往依赖于低质量的伪标签，导致模型泛化能力不足。

核心思路：论文的核心思路是通过多阶段的协作知识蒸馏，从少量提示的LLM中提取高质量的伪标签，并通过迭代的方式训练多个学生模型，以提高其对未见样本的泛化能力。这样的设计旨在充分利用LLM的强大生成能力，同时避免低质量伪标签对模型学习的负面影响。

技术框架：MCKD方法的整体架构包括几个主要模块：首先，通过几次提示LLM生成未标记数据的伪标签；然后，在每个阶段的迭代KD过程中，训练新的学生模型对伪标签数据的不同分区进行学习；最后，学生模型生成新的伪标签以供后续阶段使用。

关键创新：本研究的关键创新在于提出了多阶段的协作知识蒸馏机制，使得学生模型能够在每个阶段不断优化伪标签的质量，从而提升模型的整体性能。这一方法与传统的单阶段KD方法相比，显著提高了模型在低资源环境下的表现。

关键设计：在方法设计中，关键参数包括学生模型的数量、伪标签生成的策略以及损失函数的选择。我们采用了适应性损失函数，以平衡高质量与低质量伪标签对模型训练的影响，同时确保学生模型在不同阶段的学习目标明确。整体网络结构则基于现有的LLM架构进行调整，以适应多阶段训练的需求。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在CRAFT生物医学解析任务中，采用3阶段的MCKD方法，使用50个标注样本时，解析F1分数比LLM教师模型提升了7.5%，比传统的KD方法提升了3.7%。该方法的性能与使用500个标注样本的监督微调效果相当，显示出其在低资源环境下的有效性。

🎯 应用场景

该研究的潜在应用场景包括自然语言处理中的文本生成、对话系统以及信息提取等领域。通过提升半监督学习的效率，MCKD方法能够在标注数据稀缺的情况下，帮助模型更好地理解和生成语言，从而在实际应用中具有重要的价值和影响。

📄 摘要（原文）

We study semi-supervised sequence generation tasks, where the few labeled examples are too scarce to finetune a model, and meanwhile, few-shot prompted large language models (LLMs) exhibit room for improvement. In this paper, we present the discovery that a student model distilled from a few-shot prompted LLM can commonly generalize better than its teacher to unseen examples on such tasks. We find that the student is able to learn a general pattern from the high-quality pseudolabels produced by the teacher during knowledge distillation (KD), and favorably not a general pattern from the low-quality pseudolables. Leveraging this discovery, we propose a new method, Multistage Collaborative Knowledge Distillation from an LLM (MCKD), for these tasks. MCKD first few-shot prompts an LLM to produce pseudolabels for unlabeled data. Then at each stage of an iterative KD process, a new pair of students is trained on disjoint partitions of the pseudolabeled data, and produces new and improved pseudolabels for their unseen partitions. We conduct extensive experiments on four syntactic and semantic parsing datasets and show the effectiveness of MCKD for low-resource semi-supervised sequence generation. On CRAFT biomedical parsing, for example, 3-stage MCKD with 50 labeled examples outperforms an LLM teacher and vanilla KD by 7.5% and 3.7% parsing F1, respectively, and matches the performance of supervised finetuning with 500 labeled examples.