Leveraging Foundation Models for Content-Based Image Retrieval in Radiology
作者: Stefan Denner, David Zimmerer, Dimitrios Bounias, Markus Bujotzek, Shuhan Xiao, Raphael Stock, Lisa Kausch, Philipp Schader, Tobias Penzkofer, Paul F. Jäger, Klaus Maier-Hein
分类: cs.CV, cs.IR
发布日期: 2024-03-11 (更新: 2025-06-22)
🔗 代码/项目: GITHUB
💡 一句话要点
利用基础模型提升放射学中的基于内容的图像检索
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 基础模型 图像检索 放射学 弱监督学习 医学影像 特征提取 通用性 性能评估
📋 核心要点
- 现有的基于内容的图像检索系统因专注于特定病理而限制了其应用范围，无法满足广泛的临床需求。
- 本文提出利用视觉基础模型作为通用特征提取器，旨在提升放射学中的图像检索效果，减少对特定训练的依赖。
- 实验结果表明，弱监督模型BiomedCLIP在多个指标上表现优异，P@1达到0.594，显示出与专门CBIR系统相当的性能。
📝 摘要（中文）
基于内容的图像检索（CBIR）在放射学中的诊断辅助和医学研究中具有显著潜力。然而，现有的CBIR系统因其对特定病理的专门化而面临局限性。本文提出使用视觉基础模型作为强大而通用的特征提取器，进行CBIR。我们的贡献包括：在包含160万张2D放射图像的广泛数据集上对多种视觉基础模型进行基准测试；识别出弱监督模型BiomedCLIP，其在不额外训练的情况下，达到P@1高达0.594的效果；深入分析索引大小对检索性能的影响；评估不同模型生成的嵌入空间质量；探讨检索解剖结构与病理结构的特定挑战。我们的研究强调了基础模型在放射学CBIR中的巨大潜力，建议向不需要特定调优的通用医学图像检索系统转变。
🔬 方法详解
问题定义：本文旨在解决现有基于内容的图像检索（CBIR）系统因专门化而导致的应用局限性，尤其是在放射学领域。现有方法往往对特定病理进行优化，缺乏通用性和灵活性。
核心思路：论文提出利用视觉基础模型作为强大的特征提取器，能够生成通用的视觉特征，从而提升CBIR的性能。通过这种方式，系统不再需要针对特定病理进行额外训练，降低了应用门槛。
技术框架：研究首先在一个包含160万张2D放射图像的广泛数据集上进行基准测试，评估多种视觉基础模型的表现。接着，分析索引大小对检索性能的影响，并评估不同模型生成的嵌入空间的质量。最后，探讨解剖结构与病理结构检索的挑战。
关键创新：最重要的创新在于识别出BiomedCLIP等弱监督模型在CBIR中的高效性，其在不进行额外训练的情况下，取得了与专门CBIR系统相当的性能，展现了基础模型的广泛适用性。
关键设计：在实验中，研究者对不同模型的参数设置进行了细致调整，特别关注嵌入空间的质量和索引大小的影响，确保了模型在多种病理情况下的鲁棒性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，BiomedCLIP模型在P@1指标上达到了0.594，P@3、P@5和P@10分别为0.590、0.588和0.583，表现与专门的CBIR系统相当，且无需额外训练，展现了基础模型在医学图像检索中的巨大潜力。
🎯 应用场景
该研究的潜在应用领域包括放射学的诊断辅助、医学影像研究及临床决策支持。通过引入通用的基础模型，未来的医学图像检索系统将能够更高效地处理多种病理，提高诊断的准确性和速度，推动个性化医疗的发展。
📄 摘要（原文）
Content-based image retrieval (CBIR) has the potential to significantly improve diagnostic aid and medical research in radiology. However, current CBIR systems face limitations due to their specialization to certain pathologies, limiting their utility. On the other hand, several vision foundation models have been shown to produce general-purpose visual features. Therefore, in this work, we propose using vision foundation models as powerful and versatile off-the-shelf feature extractors for content-based image retrieval. Our contributions include: (1) benchmarking a diverse set of vision foundation models on an extensive dataset comprising 1.6 million 2D radiological images across four modalities and 161 pathologies; (2) identifying weakly-supervised models, particularly BiomedCLIP, as highly effective, achieving a achieving a P@1 of up to 0.594 (P@3: 0.590, P@5: 0.588, P@10: 0.583), comparable to specialized CBIR systems but without additional training; (3) conducting an in-depth analysis of the impact of index size on retrieval performance; (4) evaluating the quality of embedding spaces generated by different models; and (5) investigating specific challenges associated with retrieving anatomical versus pathological structures. Despite these challenges, our research underscores the vast potential of foundation models for CBIR in radiology, proposing a shift towards versatile, general-purpose medical image retrieval systems that do not require specific tuning. Our code, dataset splits and embeddings are publicly available under https://github.com/MIC-DKFZ/foundation-models-for-cbmir.