Enhancing Information Maximization with Distance-Aware Contrastive Learning for Source-Free Cross-Domain Few-Shot Learning

📄 arXiv: 2403.01966v1 📥 PDF

作者: Huali Xu, Li Liu, Shuaifeng Zhi, Shaojing Fu, Zhuo Su, Ming-Ming Cheng, Yongxiang Liu

分类: cs.CV

发布日期: 2024-03-04

备注: Accepted by TIP, 16 pages, 11 figures, 8 tables

💡 一句话要点

提出无源跨域少样本学习的新方法IM-DCL以解决数据隐私问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 跨域学习 少样本学习 对比学习 信息最大化 数据隐私 预训练模型 机器学习

📋 核心要点

  1. 现有的跨域少样本学习方法依赖于源域数据进行模型训练，面临数据隐私和传输成本的挑战。
  2. 本文提出了一种无源跨域少样本学习方法IM-DCL，通过使用预训练模型和引入距离感知对比学习来解决这一问题。
  3. 在BSCD-FSL基准的四个数据集上，IM-DCL方法在不访问源域的情况下，表现优于现有方法，尤其在远域任务中效果显著。

📝 摘要（中文）

现有的跨域少样本学习方法需要访问源域数据进行模型训练，然而由于数据隐私的日益关注以及减少数据传输和训练成本的需求，开发无源数据访问的跨域少样本学习解决方案显得尤为重要。本文探讨了一种无源跨域少样本学习（SF-CDFSL）问题，通过使用现有的预训练模型来解决该问题。我们提出了一种增强的信息最大化与距离感知对比学习（IM-DCL）方法，首先引入了传导机制来学习查询集，其次通过信息最大化将目标样本映射到个体确定性和全局多样性预测，帮助源模型更好地适应目标数据分布。实验结果表明，IM-DCL在不访问源域的情况下，尤其在远域任务中表现出优越性。

🔬 方法详解

问题定义：本文旨在解决无源跨域少样本学习（SF-CDFSL）问题，现有方法需依赖源域数据进行训练，导致数据隐私和传输成本问题。

核心思路：提出增强的信息最大化与距离感知对比学习（IM-DCL）方法，利用预训练模型学习目标域数据，避免直接访问源域数据。

技术框架：IM-DCL方法包括两个主要模块：信息最大化（IM）模块用于映射目标样本的确定性和多样性，距离感知对比学习（DCL）模块用于建立正负样本的软分类。

关键创新：引入距离感知对比学习，考虑整个特征集作为正负样本集，通过加权距离计算实现软分类，克服了IM方法无法学习目标任务决策边界的不足。

关键设计：在DCL中，采用了对比约束来处理对象特征与其对应的正负样本集之间的关系，设计了特定的损失函数以优化模型性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在BSCD-FSL基准的四个数据集上，IM-DCL方法在不访问源域的情况下，取得了显著的性能提升，尤其在远域任务中，相较于现有方法提升幅度达到XX%，展示了其优越性。

🎯 应用场景

该研究的潜在应用领域包括图像识别、自然语言处理和医疗影像分析等，尤其适用于数据隐私要求高的场景。IM-DCL方法能够在不依赖源数据的情况下，提升模型在新领域的适应能力，具有重要的实际价值和未来影响。

📄 摘要（原文）

Existing Cross-Domain Few-Shot Learning (CDFSL) methods require access to source domain data to train a model in the pre-training phase. However, due to increasing concerns about data privacy and the desire to reduce data transmission and training costs, it is necessary to develop a CDFSL solution without accessing source data. For this reason, this paper explores a Source-Free CDFSL (SF-CDFSL) problem, in which CDFSL is addressed through the use of existing pretrained models instead of training a model with source data, avoiding accessing source data. This paper proposes an Enhanced Information Maximization with Distance-Aware Contrastive Learning (IM-DCL) method to address these challenges. Firstly, we introduce the transductive mechanism for learning the query set. Secondly, information maximization (IM) is explored to map target samples into both individual certainty and global diversity predictions, helping the source model better fit the target data distribution. However, IM fails to learn the decision boundary of the target task. This motivates us to introduce a novel approach called Distance-Aware Contrastive Learning (DCL), in which we consider the entire feature set as both positive and negative sets, akin to Schrodinger's concept of a dual state. Instead of a rigid separation between positive and negative sets, we employ a weighted distance calculation among features to establish a soft classification of the positive and negative sets for the entire feature set. Furthermore, we address issues related to IM by incorporating contrastive constraints between object features and their corresponding positive and negative sets. Evaluations of the 4 datasets in the BSCD-FSL benchmark indicate that the proposed IM-DCL, without accessing the source domain, demonstrates superiority over existing methods, especially in the distant domain task.