How to build the best medical image segmentation algorithm using foundation models: a comprehensive empirical study with Segment Anything Model

📄 arXiv: 2404.09957v3 📥 PDF

作者: Hanxue Gu, Haoyu Dong, Jichen Yang, Maciej A. Mazurowski

分类: cs.CV, cs.LG

发布日期: 2024-04-15 (更新: 2025-05-09)

备注: Accepted for publication at the Journal of Machine Learning for Biomedical Imaging (MELBA)

期刊: Machine.Learning.for.Biomedical.Imaging. 3 (2025)

DOI: 10.59275/j.melba.2025-86a6

🔗 代码/项目: GITHUB

💡 一句话要点

基于基础模型的医学图像分割算法优化研究

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 医学图像分割 基础模型 深度学习 微调策略 自监督学习 放射学 性能优化

📋 核心要点

  1. 现有医学图像分割方法缺乏系统的微调策略，难以充分发挥基础模型的潜力。
  2. 本文提出了一种系统的微调策略，结合多种骨干架构和算法，优化Segment Anything Model在医学图像分割中的应用。
  3. 实验结果表明，微调后的SAM在17个数据集上的性能优于传统方法，且采用参数高效学习策略的微调效果最佳。

📝 摘要（中文）

自动化分割是医学图像分析的基础任务，近年来随着深度学习的发展取得了显著进展。尽管基础模型在自然语言处理和某些视觉任务中已有应用，但专为图像分割设计的基础模型——Segment Anything Model (SAM) 近期才被提出，并显示出良好的前景。然而，目前尚缺乏系统的分析或最佳实践指南来优化SAM在医学图像分割中的微调。本文总结了18种不同骨干架构、模型组件和微调算法的现有微调策略，并在涵盖所有常见放射学模态的17个数据集上进行了评估。研究结果表明，微调SAM的性能略优于以往的分割方法，且采用参数高效学习的微调策略在编码器和解码器中表现最佳，网络架构对最终性能的影响较小。此外，进一步使用自监督学习训练SAM可以提升模型性能。我们还展示了一些文献中流行方法的无效性，并扩展了在少样本和基于提示的设置中的实验。最后，我们发布了代码和MRI特定的微调权重，均优于原始SAM。

🔬 方法详解

问题定义：本文旨在解决医学图像分割中缺乏系统微调策略的问题，现有方法未能充分利用基础模型的潜力，导致性能提升有限。

核心思路：通过总结和评估多种微调策略，结合不同的骨干网络和算法，探索如何最佳地微调SAM以提高医学图像分割的性能。

技术框架：研究采用了18种不同的微调组合，涵盖多种骨干架构和算法，在17个数据集上进行评估，确保结果的全面性和可靠性。

关键创新：本研究的创新点在于系统性地分析了SAM的微调策略，发现参数高效学习在编码器和解码器中的应用显著提升了性能，这是与现有方法的本质区别。

关键设计：在微调过程中，采用了多种参数设置和损失函数，特别关注编码器和解码器的参数高效学习策略，确保在不同网络架构下的性能优化。实验还探讨了自监督学习对模型性能的影响。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，微调后的SAM在17个数据集上的性能优于传统分割方法，尤其是在使用参数高效学习策略时，性能提升显著。具体而言，微调后的模型在多个放射学模态中均表现出更高的准确性和鲁棒性，验证了其有效性。

🎯 应用场景

该研究的潜在应用领域包括医学影像分析、放射学诊断和临床决策支持。通过优化医学图像分割算法，可以提高疾病检测的准确性和效率，进而改善患者的治疗效果。未来，该方法还可能扩展到其他医学图像处理任务中，具有广泛的实际价值。

📄 摘要（原文）

Automated segmentation is a fundamental medical image analysis task, which enjoys significant advances due to the advent of deep learning. While foundation models have been useful in natural language processing and some vision tasks for some time, the foundation model developed with image segmentation in mind - Segment Anything Model (SAM) - has been developed only recently and has shown similar promise. However, there are still no systematic analyses or "best-practice" guidelines for optimal fine-tuning of SAM for medical image segmentation. This work summarizes existing fine-tuning strategies with various backbone architectures, model components, and fine-tuning algorithms across 18 combinations, and evaluates them on 17 datasets covering all common radiology modalities. Our study reveals that (1) fine-tuning SAM leads to slightly better performance than previous segmentation methods, (2) fine-tuning strategies that use parameter-efficient learning in both the encoder and decoder are superior to other strategies, (3) network architecture has a small impact on final performance, (4) further training SAM with self-supervised learning can improve final model performance. We also demonstrate the ineffectiveness of some methods popular in the literature and further expand our experiments into few-shot and prompt-based settings. Lastly, we released our code and MRI-specific fine-tuned weights, which consistently obtained superior performance over the original SAM, at https://github.com/mazurowski-lab/finetune-SAM.