Exploring the Transferability of a Foundation Model for Fundus Images: Application to Hypertensive Retinopathy

📄 arXiv: 2401.15526v1 📥 PDF

作者: Julio Silva-Rodriguez, Jihed Chelbi, Waziha Kabir, Hadi Chakor, Jose Dolz, Ismail Ben Ayed, Riadh Kobbi

分类: cs.CV

发布日期: 2024-01-27

备注: CGI 2023

DOI: 10.1007/978-3-031-50075-6_33

💡 一句话要点

探索基础模型在眼底图像中的迁移性以诊断高血压性视网膜病变

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 医学图像分类 迁移学习 基础模型 高血压性视网膜病变 深度学习 特征提取 知识迁移

📋 核心要点

  1. 现有的医学图像分类方法在数据稀缺情况下效果有限，尤其是领域间差异较大时。
  2. 本研究提出利用FLAIR模型的特征作为眼底图像分类的起点，比较其与传统Imagenet初始化的性能差异。
  3. 实验结果显示，FLAIR模型的直接迁移提升了2.5%的性能，而全网络微调时提升幅度达到4%。

📝 摘要（中文）

使用在Imagenet上预训练的深度学习模型是应对医学图像分类数据稀缺的传统解决方案。然而，相关文献表明，由于领域间的高度不相似性，这一策略可能带来有限的收益。目前，适应领域专用基础模型的范式被证明是一种有前景的替代方案。本研究探讨了使用FLAIR模型特征进行眼底图像分类的潜力，并将其性能与传统的Imagenet初始化进行了比较。实验结果表明，直接从FLAIR模型迁移可以实现2.5%的性能提升，而全网络微调时性能差距增加至4%。

🔬 方法详解

问题定义：本研究旨在解决高血压性视网膜病变的眼底图像分类问题，现有方法在数据稀缺和领域差异大时效果不佳。

核心思路：论文提出利用FLAIR模型的特征进行知识迁移，以提高眼底图像分类的性能，尤其是在数据不足的情况下。

技术框架：整体架构包括特征提取、分类器初始化和微调三个主要阶段。首先使用FLAIR模型提取特征，然后通过线性探测和微调两种方法进行分类器训练。

关键创新：最重要的创新在于直接利用FLAIR模型的特征进行迁移学习，避免了传统方法的性能瓶颈，展示了基础模型在特定医学图像任务中的潜力。

关键设计：在实验中，采用了线性探测和全网络微调两种策略，重点关注如何避免特征退化，确保预训练特征的有效重用。

🖼️ 关键图片

fig_0
img_1

📊 实验亮点

实验结果表明，使用FLAIR模型进行直接迁移时，性能提升达2.5%；而在全网络微调的情况下，性能提升幅度更是达到4%。这些结果显示了基础模型在医学图像分析中的重要性和应用潜力。

🎯 应用场景

该研究的潜在应用领域包括医学图像分析，尤其是在高血压性视网膜病变的早期诊断中。通过有效的知识迁移，能够提高分类模型的性能，帮助医生更准确地进行疾病诊断，具有重要的临床价值和社会影响。

📄 摘要（原文）

Using deep learning models pre-trained on Imagenet is the traditional solution for medical image classification to deal with data scarcity. Nevertheless, relevant literature supports that this strategy may offer limited gains due to the high dissimilarity between domains. Currently, the paradigm of adapting domain-specialized foundation models is proving to be a promising alternative. However, how to perform such knowledge transfer, and the benefits and limitations it presents, are under study. The CGI-HRDC challenge for Hypertensive Retinopathy diagnosis on fundus images introduces an appealing opportunity to evaluate the transferability of a recently released vision-language foundation model of the retina, FLAIR. In this work, we explore the potential of using FLAIR features as starting point for fundus image classification, and we compare its performance with regard to Imagenet initialization on two popular transfer learning methods: Linear Probing (LP) and Fine-Tuning (FP). Our empirical observations suggest that, in any case, the use of the traditional strategy provides performance gains. In contrast, direct transferability from FLAIR model allows gains of 2.5%. When fine-tuning the whole network, the performance gap increases up to 4%. In this case, we show that avoiding feature deterioration via LP initialization of the classifier allows the best re-use of the rich pre-trained features. Although direct transferability using LP still offers limited performance, we believe that foundation models such as FLAIR will drive the evolution of deep-learning-based fundus image analysis.