PEFT-MedSAM: Efficient Fine-Tuning of Medical Foundation Models for Explainable Skin Lesion Segmentation

📄 arXiv: 2606.18707v1 📥 PDF

作者: Asad Channa, Abdullah Khan, Asghar Ali Chandio, Aamir Akbar, Shahzad Memon, Aqib Hussain, Ameer Hamza

分类: cs.CV

发布日期: 2026-06-17

💡 一句话要点

提出PEFT-MedSAM以解决医学图像皮肤病变分割问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 皮肤病变分割 深度学习 医学图像处理 模型微调 可解释性

📋 核心要点

  1. 现有深度学习方法在皮肤病变分割任务中的表现不尽如人意，难以满足临床需求。
  2. PEFT-MedSAM方法通过仅微调轻量级掩码解码器，保持其他模块不变，从而实现高效的模型适应。
  3. 在ISIC 2018数据集上，PEFT-MedSAM的Dice系数达到0.9411，显著优于传统方法，验证了其有效性。

📝 摘要（中文）

自动化皮肤病变分割对于早期发现黑色素瘤至关重要。然而，现有深度学习方法的表现不佳。本文提出了一种名为PEFT-MedSAM的参数高效微调方法，旨在将医学Segment Anything Model（MedSAM）适应于自动分割皮肤病变。该方法仅使用轻量级的掩码解码器进行训练，同时保持预训练的图像编码器和提示编码器不变。实验结果表明，PEFT-MedSAM在ISIC 2018基准数据集上获得了0.9411的Dice系数和0.8918的交并比，优于完全训练的U-Net基线（0.8715的Dice系数）和零样本MedSAM推断（0.8997的Dice系数）。

🔬 方法详解

问题定义：本文旨在解决现有深度学习方法在皮肤病变分割中的不足，尤其是在准确性和效率方面的挑战。现有方法往往需要大量参数调整，导致训练成本高且效果不佳。

核心思路：PEFT-MedSAM的核心思路是通过仅微调轻量级的掩码解码器来适应MedSAM模型，同时保持预训练的图像编码器和提示编码器不变，以提高训练效率和模型性能。

技术框架：该方法的整体架构包括三个主要模块：预训练的图像编码器、固定的提示编码器和可微调的掩码解码器。训练过程中，只有掩码解码器的参数被更新，从而实现高效的模型微调。

关键创新：PEFT-MedSAM的最大创新在于其参数高效的微调策略，显著减少了训练所需的计算资源，同时保持了模型的高性能。这一策略与传统方法的全面训练方式形成了鲜明对比。

关键设计：在设计中，PEFT-MedSAM采用了特定的损失函数以优化分割效果，并通过Grad-CAM技术增强模型的可解释性。此外，使用Wilcoxon符号秩检验和自助法估计的置信区间来验证模型性能的可靠性。

📊 实验亮点

实验结果显示，PEFT-MedSAM在ISIC 2018数据集上获得了0.9411的Dice系数和0.8918的交并比，显著优于完全训练的U-Net基线（0.8715的Dice系数）和零样本MedSAM推断（0.8997的Dice系数）。在PH2数据集上的外部验证中，Dice系数达到0.9467，标准差为±0.0310，表明模型在不同数据集上的稳定性和可靠性。

🎯 应用场景

该研究的潜在应用领域包括医学影像分析、皮肤病变检测和早期黑色素瘤筛查。通过提高皮肤病变分割的准确性，PEFT-MedSAM有望在临床实践中提供更可靠的辅助诊断工具，进而提升患者的早期治疗效果。未来，该方法还可扩展至其他医学图像处理任务。

📄 摘要（原文）

Automated segmentation of skin lesions using deep learning models for dermoscopic images can be very helpful in finding melanomas earlier than they would normally be detected. However, most deep learning methods available do not perform well. The aim of this paper is to present a parameter-efficient fine-tuning method called PEFT-MedSAM for adapting the Medical Segment Anything Model (MedSAM) to automatically segment dermoscopic skin lesions. The PEFT-MedSAM method uses only the lightweight mask decoder for training the model while keeping the pre-trained image encoder and prompt encoder frozen. The experiments performed on the ISIC 2018 benchmark dataset shows that PEFT-MedSAM obtains a dice coefficient of .9411 and an intersection over union value of .8918 when compared to both a fully trained U-Net baseline (.8715 dice coefficient) and zero-shot MedSAM inference (.8997 dice coefficient). The external validation of the model using PH2 dataset shows .9467 dice coefficient with +/- .0310 standard deviation. Supportive evidence for these claims include a p-value less than .0001 for Wilcoxon signed rank tests comparing the two datasets and bootstrap-estimated 95% confidence intervals of [.9364,.9447] that represent the estimated range of possible values for the average dice coefficient obtained by repeating the test. To increase clinical trustworthiness, we used Grad-CAM explainability along with a pointing game based evaluation methodology to evaluate the CNN baseline model on the validation set. The results showed that we had an accuracy rate of 98.27% on the validation set of 519 images and confirmed that the model classified regions containing skin lesions.