Learning to Project for Cross-Task Knowledge Distillation
作者: Dylan Auty, Roy Miles, Benedikt Kolbeinsson, Krystian Mikolajczyk
分类: cs.CV, cs.AI
发布日期: 2024-03-21 (更新: 2024-11-27)
备注: BMVC 2024
💡 一句话要点
提出反向投影以解决跨任务知识蒸馏问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 知识蒸馏 跨任务学习 反向投影 深度学习 计算机视觉 模型压缩 正则化技术
📋 核心要点
- 现有的知识蒸馏方法通常依赖于在目标任务上训练的教师模型，但在跨任务蒸馏中效果不佳，限制了其应用。
- 本文提出了一种反向投影的简单修改，旨在忽略任务特定特征，从而提高学生模型的性能。
- 实验结果显示，该方法在跨任务设置中可提升性能，使用随机初始化教师模型时，性能提升可达7%。
📝 摘要（中文）
传统的知识蒸馏依赖于在目标任务上训练的优秀教师模型，但在某些情况下并不可用。为了解决这一问题，跨任务蒸馏允许使用在不同任务上训练的教师模型。然而，许多知识蒸馏方法在跨任务设置中效果不佳。本文提出了一种简单的修改：使用反向投影，能够有效地忽略可能降低学生性能的任务特定特征。实验表明，该方法在跨任务设置中相比传统投影可提升性能，且在使用随机初始化的教师模型时，仍能在深度估计、图像翻译和语义分割等任务上获得显著提升。通过分析，我们还提出了一种新的正则化损失，支持无教师蒸馏，进一步提升了在ImageNet上的性能。
🔬 方法详解
问题定义：本文解决的问题是如何在缺乏目标任务教师模型的情况下进行有效的知识蒸馏。现有的跨任务蒸馏方法在处理不同任务时往往效果不佳，导致学生模型性能下降。
核心思路：论文的核心思路是引入反向投影，旨在学习忽略任务特定的特征，从而避免对学生模型性能的负面影响。通过这种方式，可以有效地扩展许多知识蒸馏方法到跨任务设置中。
技术框架：整体架构包括教师模型、学生模型和反向投影模块。教师模型提供知识，学生模型负责学习，而反向投影则用于调整输入特征，确保只传递有用的信息。
关键创新：最重要的技术创新在于反向投影的引入，它与传统投影的本质区别在于能够有效过滤掉任务特定的特征，从而提高跨任务蒸馏的有效性。
关键设计：在损失函数设计上，论文提出了一种新的正则化损失，允许进行无教师蒸馏，且在参数设置上保持简单，未增加额外的训练成本。
🖼️ 关键图片
📊 实验亮点
实验结果表明，使用反向投影的方法在跨任务设置中相比传统投影提升了最多1.9%的性能。在使用随机初始化的教师模型时，性能提升可达7%。此外，提出的新正则化损失在ImageNet上实现了高达8.57%的性能提升，且没有额外的训练成本。
🎯 应用场景
该研究的潜在应用领域包括计算机视觉中的深度估计、图像翻译和语义分割等任务。通过有效的知识蒸馏方法，可以在缺乏目标任务教师模型的情况下，提升模型的性能，具有重要的实际价值和广泛的应用前景。
📄 摘要（原文）
Traditional knowledge distillation (KD) relies on a proficient teacher trained on the target task, which is not always available. In this setting, cross-task distillation can be used, enabling the use of any teacher model trained on a different task. However, many KD methods prove ineffective when applied to this cross-task setting. To address this limitation, we propose a simple modification: the use of an inverted projection. We show that this drop-in replacement for a standard projector is effective by learning to disregard any task-specific features which might degrade the student's performance. We find that this simple modification is sufficient for extending many KD methods to the cross-task setting, where the teacher and student tasks can be very different. In doing so, we obtain up to a 1.9% improvement in the cross-task setting compared to the traditional projection, at no additional cost. Our method can obtain significant performance improvements (up to 7%) when using even a randomly-initialised teacher on various tasks such as depth estimation, image translation, and semantic segmentation, despite the lack of any learned knowledge to transfer. To provide conceptual and analytical insights into this result, we show that using an inverted projection allows the distillation loss to be decomposed into a knowledge transfer and a spectral regularisation component. Through this analysis we are additionally able to propose a novel regularisation loss that allows teacher-free distillation, enabling performance improvements of up to 8.57% on ImageNet with no additional training costs.