Student as an Inherent Denoiser of Noisy Teacher

📄 arXiv: 2312.10185v1 📥 PDF

作者: Jiachen Zhao

分类: cs.LG, cs.CL

发布日期: 2023-12-15

备注: The Third NeurIPS Workshop on Efficient Natural Language and Speech Processing

💡 一句话要点

提出Peer-Advised KD，利用学生模型内在去噪能力提升噪声教师模型的知识蒸馏效果

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 知识蒸馏 噪声标签 学生模型 伪标签学习 低资源学习

📋 核心要点

  1. 传统知识蒸馏依赖教师模型生成的伪标签，但伪标签的噪声会严重影响学生模型的学习效果。
  2. 该论文发现学生模型本身具有去噪能力，能够生成比教师标签更准确的预测，因此提出Peer-Advised KD。
  3. 实验结果表明，Peer-Advised KD在低数据场景下显著优于传统知识蒸馏方法，甚至逼近全监督学习的效果。

📝 摘要（中文）

知识蒸馏(KD)已被广泛应用于通过伪标签学习，将大型语言模型(LLM)的知识迁移到低数据场景下的专用模型。然而，教师模型生成的伪标签通常是有噪声的，可能会影响KD的性能。本研究深入探讨了带有噪声教师的KD，并发现学生模型在KD过程中已经能够生成比用于训练它的教师标签更准确的预测，表明其具有内在的去噪能力。受此发现的启发，我们提出了Peer-Advised KD，以改进来自噪声教师的普通KD。实验表明，Peer-Advised KD在50个人工标注数据的情况下，可以比LLM高出约5%，甚至与750个人工标注数据的标准监督微调具有竞争力。

🔬 方法详解

问题定义：知识蒸馏旨在将大型教师模型的知识迁移到小型学生模型，尤其是在数据稀缺的情况下。然而，当教师模型本身存在噪声，或者生成的伪标签质量不高时，传统的知识蒸馏方法会受到严重影响，学生模型容易受到噪声标签的误导，导致性能下降。现有方法通常侧重于设计更复杂的蒸馏损失函数或数据增强策略，但忽略了学生模型自身可能具备的去噪能力。

核心思路：该论文的核心思路是利用学生模型内在的去噪能力来提升知识蒸馏的效果。作者观察到，即使在教师模型存在噪声的情况下，学生模型在训练过程中也能逐渐学习到更准确的预测。因此，论文提出利用学生模型的预测结果来指导教师模型的知识蒸馏过程，从而减少噪声标签的影响。

技术框架：Peer-Advised KD 的整体框架如下：首先，使用带噪声的教师模型生成伪标签。然后，使用这些伪标签训练学生模型。关键在于，在训练过程中，学生模型的预测结果会反过来影响教师模型的知识蒸馏过程。具体来说，学生模型的预测结果被用作一种“peer advice”，用于过滤或修正教师模型生成的伪标签，从而减少噪声的影响。

关键创新：该论文的关键创新在于发现了学生模型在知识蒸馏过程中所具备的内在去噪能力，并将其应用于指导教师模型的知识蒸馏过程。与传统的知识蒸馏方法不同，Peer-Advised KD 不仅仅依赖于教师模型提供的知识，而是充分利用了学生模型自身的学习能力，实现了更有效的知识迁移。

关键设计：Peer-Advised KD 的关键设计在于如何有效地利用学生模型的预测结果来指导教师模型的知识蒸馏过程。具体来说，可以使用不同的策略来融合学生模型的预测结果和教师模型的伪标签，例如，可以根据学生模型的预测置信度来加权调整教师模型的伪标签，或者使用学生模型的预测结果来过滤掉教师模型中置信度较低的伪标签。此外，损失函数的设计也至关重要，需要平衡教师模型的知识迁移和学生模型的自我学习能力。

📊 实验亮点

实验结果表明，Peer-Advised KD 在低数据场景下表现出色。在仅使用50个人工标注数据的情况下，Peer-Advised KD 的性能比直接使用大型语言模型高出约5%。更令人印象深刻的是，Peer-Advised KD 在750个人工标注数据下的性能甚至可以与标准监督微调相媲美，这表明该方法在数据稀缺的情况下具有很强的竞争力。

🎯 应用场景

该研究成果可广泛应用于低资源场景下的模型训练，例如在数据标注成本高昂或数据获取困难的领域，可以使用大型语言模型作为教师模型，通过Peer-Advised KD将知识迁移到小型专用模型，从而降低模型部署成本并提高模型性能。此外，该方法还可以应用于对抗样本防御，通过利用学生模型的去噪能力来提高模型对对抗攻击的鲁棒性。

📄 摘要（原文）

Knowledge distillation (KD) has been widely employed to transfer knowledge from a large language model (LLM) to a specialized model in low-data regimes through pseudo label learning. However, pseudo labels generated by teacher models are usually noisy and may influence KD performance. This study delves into KD with noisy teachers and uncovers that the student model can already generate more accurate predictions than the teacher labels used to train it during KD, indicating its inherent ability to denoise noisy teacher labels. Motivated by this finding, we propose Peer-Advised KD to improve vanilla KD from noisy teachers. Experiments show that Peer-Advised KD can outperform LLM by approximately 5% with 50 human-labeled data, and even competitive to standard supervised finetuning with 750 human-labeled data.