iDAT: inverse Distillation Adapter-Tuning
作者: Jiacheng Ruan, Jingsheng Gao, Mingye Xie, Daize Dong, Suncheng Xiang, Ting Liu, Yuzhuo Fu
分类: cs.CV
发布日期: 2024-03-23
备注: 10 pages, 9 figures, 13 tables. This paper has been accepted by ICME 2024
🔗 代码/项目: GITHUB
💡 一句话要点
提出逆蒸馏适配器调优方法以提升微调性能
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 适配器调优 知识蒸馏 微调性能 计算机视觉 模型适应性 深度学习 联合训练
📋 核心要点
- 现有的适配器调优方法在微调性能上存在局限，难以充分利用不同模型间的知识差异。
- 本文提出的逆蒸馏适配器调优（iDAT）框架，通过联合训练小模型和大模型，利用知识蒸馏提升微调效果。
- 在VTAB-1K基准上，iDAT方法相较于传统AT方法提升了2.66%的性能，且仅增加了0.07M的可训练参数。
📝 摘要（中文）
适配器调优（Adapter-Tuning, AT）方法通过冻结预训练模型并引入可训练的适配器模块来获取下游知识，从而提高模型在下游任务中的适应性。本文首次提出了一种逆蒸馏适配器调优（iDAT）框架，旨在改善AT方法的微调性能。通过统计分析，我们观察到不同模型的适配器模块在知识获取上存在显著差异。基于这些差异，我们设计了一个简单而有效的框架，将较小的模型作为教师，较大的模型作为学生，进行联合训练，并应用在线知识蒸馏，将不同视角的知识注入学生模型，显著提升下游任务的微调性能。在VTAB-1K基准上进行的广泛实验表明，iDAT框架下的AT方法可进一步提升2.66%的性能，仅增加0.07M的可训练参数。我们的代码已公开。
🔬 方法详解
问题定义：本文旨在解决适配器调优方法在微调性能上的不足，尤其是如何有效利用不同模型间的知识差异以提升下游任务的表现。现有方法往往未能充分挖掘这些潜在的知识，导致微调效果不佳。
核心思路：论文提出的逆蒸馏适配器调优（iDAT）框架，首次将适配器调优与知识蒸馏相结合。通过将较小的模型作为教师，较大的模型作为学生，进行联合训练，从而实现知识的有效传递，提升学生模型的微调性能。
技术框架：iDAT框架包括两个主要模块：教师模型和学生模型。教师模型负责提供知识，而学生模型则通过在线知识蒸馏吸收这些知识。整个训练过程是联合的，教师和学生模型在同一数据集上进行训练，以确保知识的有效传递。
关键创新：iDAT的核心创新在于将适配器调优与知识蒸馏结合，利用不同模型间的知识差异来提升微调性能。这一方法与传统的适配器调优方法相比，能够更有效地利用模型间的互补信息。
关键设计：在设计上，iDAT框架仅增加了0.07M的可训练参数，且通过精心设计的损失函数来优化教师与学生模型之间的知识传递，确保了训练过程的高效性和有效性。
🖼️ 关键图片
📊 实验亮点
在VTAB-1K基准上，iDAT方法在19个图像分类任务中表现出色，相较于传统的适配器调优方法，提升了2.66%的性能，且仅增加了0.07M的可训练参数，显示出良好的效率与效果。
🎯 应用场景
该研究的潜在应用领域包括计算机视觉、自然语言处理等多个下游任务，尤其是在需要快速适应新任务的场景中，iDAT框架能够显著提升模型的微调性能，具有广泛的实际价值和影响力。未来，该方法可能推动更多领域的模型适应性研究，促进更高效的知识转移。
📄 摘要（原文）
Adapter-Tuning (AT) method involves freezing a pre-trained model and introducing trainable adapter modules to acquire downstream knowledge, thereby calibrating the model for better adaptation to downstream tasks. This paper proposes a distillation framework for the AT method instead of crafting a carefully designed adapter module, which aims to improve fine-tuning performance. For the first time, we explore the possibility of combining the AT method with knowledge distillation. Via statistical analysis, we observe significant differences in the knowledge acquisition between adapter modules of different models. Leveraging these differences, we propose a simple yet effective framework called inverse Distillation Adapter-Tuning (iDAT). Specifically, we designate the smaller model as the teacher and the larger model as the student. The two are jointly trained, and online knowledge distillation is applied to inject knowledge of different perspective to student model, and significantly enhance the fine-tuning performance on downstream tasks. Extensive experiments on the VTAB-1K benchmark with 19 image classification tasks demonstrate the effectiveness of iDAT. The results show that using existing AT method within our iDAT framework can further yield a 2.66% performance gain, with only an additional 0.07M trainable parameters. Our approach compares favorably with state-of-the-arts without bells and whistles. Our code is available at https://github.com/JCruan519/iDAT.