Cross-Level Distillation and Feature Denoising for Cross-Domain Few-Shot Classification

📄 arXiv: 2311.02392v1 📥 PDF

作者: Hao Zheng, Runqi Wang, Jianzhuang Liu, Asako Kanezaki

分类: cs.CV, cs.AI

发布日期: 2023-11-04

🔗 代码/项目: GITHUB

💡 一句话要点

提出跨层蒸馏与特征去噪以解决跨域少样本分类问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 跨域分类 少样本学习 知识蒸馏 特征去噪 计算机视觉

📋 核心要点

  1. 现有的少样本分类方法在基础数据集和目标数据集来自不同领域时，知识迁移面临巨大挑战。
  2. 本文提出了一种跨层知识蒸馏方法，通过引导网络的浅层学习更高层次的信息，增强模型特征提取能力。
  3. 在BSCD-FSL基准上，本文方法在1-shot和5-shot分类任务上分别提升了5.44%和1.37%的性能，超越了现有方法。

📝 摘要（中文）

传统的少样本分类旨在从大规模标注的基础数据集中学习模型，并快速适应来自相同分布的目标数据集。然而，在实际应用中，基础数据集和目标数据集通常来自不同的领域，这就是跨域少样本分类的问题。本文通过在训练阶段使少量未标注的目标域图像可用，设计了一种跨层知识蒸馏方法，增强模型在目标数据集中提取更具判别性的特征的能力。此外，为了缓解评估阶段的过拟合，提出了一种特征去噪操作，以减少特征冗余并减轻过拟合。我们的方案在BSCD-FSL基准上，1-shot和5-shot分类任务的平均性能超越了之前的最先进方法Dynamic-Distillation，分别提升了5.44%和1.37%。

🔬 方法详解

问题定义：本文解决的是跨域少样本分类问题，现有方法在基础数据集和目标数据集存在较大领域差异时，知识迁移效果不佳，导致模型性能下降。

核心思路：提出的跨层知识蒸馏方法通过引导浅层网络学习高层信息，增强模型在目标数据集上的特征提取能力，从而提高分类性能。

技术框架：整体架构包括基础数据集的知识学习、目标数据集的特征提取和特征去噪三个主要模块。首先，利用基础数据集进行模型训练；其次，结合未标注的目标数据进行跨层蒸馏；最后，通过特征去噪减少冗余特征。

关键创新：最重要的创新在于跨层知识蒸馏的设计，使得模型能够在不同层次上进行信息传递，从而有效应对领域转移带来的挑战。与现有方法相比，本文方法在特征提取和知识迁移上具有更高的灵活性和适应性。

关键设计：在模型设计中，采用了特定的损失函数来平衡蒸馏过程中的信息传递，同时在特征去噪阶段引入了冗余特征的评估机制，以确保模型的泛化能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在BSCD-FSL基准上，本文方法在1-shot分类任务中性能提升了5.44%，在5-shot分类任务中提升了1.37%，显著超越了现有的Dynamic-Distillation方法，展示了其在跨域少样本分类中的有效性。

🎯 应用场景

该研究的潜在应用领域包括图像分类、目标检测和其他计算机视觉任务，尤其是在数据稀缺的情况下。通过提高跨域少样本分类的性能，能够在实际场景中更有效地利用有限的标注数据，推动智能系统在多样化环境中的应用。未来，该方法有望在更广泛的领域中推广，提升模型的适应性和鲁棒性。

📄 摘要（原文）

The conventional few-shot classification aims at learning a model on a large labeled base dataset and rapidly adapting to a target dataset that is from the same distribution as the base dataset. However, in practice, the base and the target datasets of few-shot classification are usually from different domains, which is the problem of cross-domain few-shot classification. We tackle this problem by making a small proportion of unlabeled images in the target domain accessible in the training stage. In this setup, even though the base data are sufficient and labeled, the large domain shift still makes transferring the knowledge from the base dataset difficult. We meticulously design a cross-level knowledge distillation method, which can strengthen the ability of the model to extract more discriminative features in the target dataset by guiding the network's shallow layers to learn higher-level information. Furthermore, in order to alleviate the overfitting in the evaluation stage, we propose a feature denoising operation which can reduce the feature redundancy and mitigate overfitting. Our approach can surpass the previous state-of-the-art method, Dynamic-Distillation, by 5.44% on 1-shot and 1.37% on 5-shot classification tasks on average in the BSCD-FSL benchmark. The implementation code will be available at https://github.com/jarucezh/cldfd.