Contrastive Adapter Training and Consensus Knowledge Distillation for Multi-Source-Free Domain Adaptation in Skin Cancer Diagnosis

📄 arXiv: 2611.03528v1 📥 PDF

作者: Ali Abedi, Q. M. Jonathan Wu, Ning Zhang, Farhad Pourpanah

分类: cs.CV, cs.AI

发布日期: 2026-11-02

备注: Published in Artificial Intelligence in Medicine, Vol. 180, 103465 (2026). DOI: https://doi.org/10.1016/j.artmed.2026.103465. Available at: https://www.sciencedirect.com/science/article/pii/S093336572600117X and Code is available at: https://github.com/A-Abedi/CAT_CKD

期刊: Artificial Intelligence in Medicine 180 (2026) 103465

DOI: 10.1016/j.artmed.2026.103465

🔗 代码/项目: GITHUB

💡 一句话要点

提出CAT-CKD以解决皮肤癌诊断中的多源无监督领域适应问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 皮肤癌诊断 多源无监督领域适应 对比学习 知识蒸馏 卷积神经网络 视觉变换器 领域不变特征 临床数据

📋 核心要点

  1. 现有的多源无监督领域适应方法在处理异构临床数据时，往往面临灾难性遗忘和过拟合的问题。
  2. 本文提出的CAT-CKD通过对比适配器训练和共识知识蒸馏，建立共享的领域不变特征空间，避免了对源数据的依赖。
  3. 实验结果显示，CAT-CKD在多个数据集上取得了86.1%的AUROC，显著优于现有方法，且参数量大幅减少。

📝 摘要（中文）

皮肤癌诊断，特别是区分黑色素瘤与良性痣，由于病变之间的视觉相似性而面临挑战。尽管卷积神经网络（CNNs）和视觉变换器（ViTs）表现出良好的性能，但在异构临床数据上效果往往下降。传统的领域适应方法需要在适应过程中访问源数据，这在隐私法规下往往不可行。多源无监督领域适应（MSFDA）通过利用多个标记源域来解决这一限制，但现有方法依赖于完整的骨干网络微调，导致灾难性遗忘和小型临床数据集上的过拟合。为了解决这些问题，本文提出了CAT-CKD，包含对比适配器训练（CAT）和共识知识蒸馏（CKD）两个组件，实验结果表明CAT-CKD在五个公开皮肤病变数据集上平均AUROC达到86.1%，超越现有MSFDA方法，同时仅需4.3M可训练参数。

🔬 方法详解

问题定义：本文旨在解决皮肤癌诊断中多源无监督领域适应（MSFDA）的问题，现有方法依赖于源数据进行微调，导致灾难性遗忘和过拟合，且在领域转移时引入噪声监督信号。

核心思路：CAT-CKD的核心思路是通过对比适配器训练（CAT）和共识知识蒸馏（CKD）来建立共享的领域不变特征空间，从而在不依赖源数据的情况下进行有效的领域适应。

技术框架：CAT-CKD的整体架构包括两个主要模块：首先是对比适配器训练，利用监督对比学习在冻结的ViT骨干网络中训练轻量级ConvPass适配器；其次是共识知识蒸馏，通过聚合多个源模型的logits生成共识监督信号，并使用KL散度在无标签目标数据上训练学生模型。

关键创新：CAT-CKD的关键创新在于通过对比学习建立领域不变特征空间，避免了传统方法中对源数据的依赖，同时通过共识知识蒸馏减少了噪声监督信号的影响。

关键设计：在设计中，采用了轻量级的ConvPass适配器，损失函数包括监督对比损失和KL散度损失，确保模型在小型临床数据集上训练时的稳定性和有效性。该方法仅需4.3M的可训练参数，具有较高的效率。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

CAT-CKD在五个公开皮肤病变数据集上的实验结果显示，平均AUROC达86.1%，显著优于现有的多源无监督领域适应方法，且仅需4.3M的可训练参数，展现出良好的性能与效率。

🎯 应用场景

该研究的潜在应用领域包括医疗影像分析、皮肤病变自动诊断等。通过提高皮肤癌诊断的准确性，能够为临床医生提供更可靠的辅助决策工具，进而提升患者的治疗效果和生存率。未来，该方法也可扩展至其他类型的医学影像领域，推动无监督领域适应技术的发展。

📄 摘要（原文）

Skin cancer diagnosis, particularly differentiating melanoma from benign nevi, is challenging due to the visual similarity between lesions. Although convolutional neural networks (CNNs) and vision transformers (ViTs) have shown promising performance, their effectiveness often deteriorates on data from heterogeneous clinical sources. Conventional domain adaptation methods address domain shift but require access to source data during adaptation, which is often infeasible due to privacy regulations. Multi-source-free unsupervised domain adaptation (MSFDA) addresses this limitation by leveraging multiple labeled source domains to generalize to an unlabeled target domain without requiring access to source data. However, existing MSFDA methods rely on full backbone fine-tuning, leading to catastrophic forgetting and overfitting on small clinical datasets, and address domain shift at the aggregation stage without establishing a shared domain-invariant feature space. Furthermore, their reliance on hard pseudo-labels or confidence-weighted aggregation introduces noisy supervision signals under domain shift. To address these limitations, we propose CAT-CKD, consisting of two components: (1) contrastive adapter training (CAT), which trains lightweight ConvPass adapters within a frozen ViT backbone using supervised contrastive learning (SCL) to establish a shared domain-invariant feature space before source-specific model training, and (2) consensus knowledge distillation (CKD), which aggregates logits from multiple source models into a consensus supervisory signal and adapts a student model on unlabeled target data using KL divergence. Experiments on five publicly available skin lesion datasets show that CAT-CKD achieves an average AUROC of 86.1%, outperforming existing MSFDA methods while requiring only 4.3M trainable parameters. The code is available at https://github.com/A-Abedi/CAT_CKD.