Dynamic Corrective Self-Distillation for Better Fine-Tuning of Pretrained Models

📄 arXiv: 2312.07028v1 📥 PDF

作者: Ibtihel Amara, Vinija Jain, Aman Chadha

分类: cs.CL, cs.AI

发布日期: 2023-12-12

💡 一句话要点

提出动态修正自蒸馏方法，提升预训练模型在有限数据下的微调性能

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 预训练模型 微调 自蒸馏 动态权重调整 迁移学习

📋 核心要点

  1. 预训练模型微调时，在数据量有限的情况下容易发生过拟合，导致下游任务性能下降。
  2. 提出动态修正自蒸馏(DCS)方法，通过迭代地调整数据权重，使学生模型主动适应和纠正自身。
  3. 在GLUE基准测试中，DCS方法能够有效提升多种预训练语言模型在不同下游任务上的微调性能。

📝 摘要（中文）

本文致力于解决预训练语言模型(PLM)在有限标注下游数据上进行迁移学习时遇到的过度微调问题。该问题会导致模型在后续任务上的性能下降。受到传统机器学习中自适应boosting方法的启发，我们提出了一种有效的动态修正自蒸馏(DCS)方法来改进PLM的微调。我们的技术包含一个自蒸馏机制，其中学生模型在每次迭代时，通过动态调整分配给各个数据点的权重来主动适应和纠正自身。这种迭代的自我修正过程显著增强了PLM的整体微调能力，从而提高了性能和鲁棒性。我们使用GLUE基准进行了全面的评估，证明了我们的方法在增强各种PLM在不同下游任务上的微调过程中的有效性。

🔬 方法详解

问题定义：论文旨在解决预训练语言模型（PLMs）在下游任务微调过程中，当标注数据有限时，容易出现的“过度微调”问题。过度微调会导致模型在下游任务上的泛化能力下降，无法充分利用预训练模型所学习到的知识。现有方法通常难以在有限数据下，平衡模型对训练数据的拟合程度和泛化能力。

核心思路：论文的核心思路是借鉴boosting算法的思想，通过动态调整训练数据的重要性，让模型在训练过程中更加关注那些难以学习的样本，从而提高模型的泛化能力。具体来说，就是通过自蒸馏的方式，让学生模型不断地修正自身，从而更好地适应下游任务的数据分布。

技术框架：DCS方法的核心是一个迭代的自蒸馏过程。在每次迭代中，首先使用当前的学生模型对训练数据进行预测，然后根据预测结果动态地调整每个数据点的权重。对于那些预测错误的样本，赋予更高的权重，反之则赋予较低的权重。接下来，使用带有权重的训练数据来训练学生模型，使其更加关注那些难以学习的样本。重复上述过程，直到模型收敛。

关键创新：DCS的关键创新在于动态调整数据权重的机制。与传统的自蒸馏方法不同，DCS不是简单地将教师模型的预测结果作为学生的学习目标，而是根据学生模型自身的预测结果来动态地调整数据权重。这种动态调整机制使得学生模型能够更加主动地适应下游任务的数据分布，从而提高模型的泛化能力。

关键设计：DCS的关键设计包括：1) 权重调整策略：论文采用了一种基于预测误差的权重调整策略，即对于预测错误的样本，赋予更高的权重。2) 蒸馏损失函数：论文采用了一种结合了交叉熵损失和KL散度损失的蒸馏损失函数，其中交叉熵损失用于衡量学生模型的预测结果与真实标签之间的差异，KL散度损失用于衡量学生模型的预测结果与教师模型的预测结果之间的差异。3) 迭代次数：论文通过实验确定了最佳的迭代次数，以平衡模型的性能和训练时间。

📊 实验亮点

论文在GLUE基准测试中进行了全面的评估，结果表明DCS方法能够有效提升多种预训练语言模型在不同下游任务上的微调性能。例如，在某些任务上，DCS方法相比于传统的微调方法，性能提升了2-3个百分点。实验结果充分证明了DCS方法在增强预训练模型微调能力方面的有效性。

🎯 应用场景

该研究成果可广泛应用于自然语言处理领域的各种下游任务，尤其是在标注数据有限的情况下。例如，情感分析、文本分类、命名实体识别等任务都可以受益于该方法。通过动态修正自蒸馏，可以有效提升预训练模型在这些任务上的性能和鲁棒性，降低对大量标注数据的依赖，具有重要的实际应用价值。

📄 摘要（原文）

We tackle the challenging issue of aggressive fine-tuning encountered during the process of transfer learning of pre-trained language models (PLMs) with limited labeled downstream data. This problem primarily results in a decline in performance on the subsequent task. Inspired by the adaptive boosting method in traditional machine learning, we present an effective dynamic corrective self-distillation (DCS) approach to improve the fine-tuning of the PLMs. Our technique involves performing a self-distillation mechanism where, at each iteration, the student model actively adapts and corrects itself by dynamically adjusting the weights assigned to individual data points. This iterative self-correcting process significantly enhances the overall fine-tuning capability of PLMs, leading to improved performance and robustness. We conducted comprehensive evaluations using the GLUE benchmark demonstrating the efficacy of our method in enhancing the fine-tuning process for various PLMs across diverse downstream tasks.