Training a high-performance retinal foundation model with half-the-data and 400 times less compute

📄 arXiv: 2405.00117v2 📥 PDF

作者: Justin Engelmann, Miguel O. Bernabeu

分类: cs.CV, cs.AI

发布日期: 2024-04-30 (更新: 2024-09-22)

💡 一句话要点

提出RETFound-Green以解决数据稀缺与计算资源消耗问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视网膜图像 基础模型 Token重构 数据效率 计算资源优化 医学影像 人工智能

📋 核心要点

  1. 现有的RETFound-MEH和DERETFound模型在训练和使用时需要大量计算资源，限制了其广泛应用。
  2. 本文提出RETFound-Green模型，通过Token重构目标，仅使用75,000张公开图像进行训练，大幅降低计算资源需求。
  3. RETFound-Green在119项任务中表现优异，68项任务的表现超过DERETFound和RETFound-MEH，显示出其高效性和实用性。

📝 摘要（中文）

人工智能在医学领域的应用受到大规模训练数据集缺乏的限制。Moorfields Eye Hospital的研究者提出了RETFound-MEH模型，基于90万张图像进行训练。随后，DERETFound模型在仅使用15万张公开图像的情况下实现了相似的性能。然而，这些模型在训练和使用过程中都需要大量资源。本文提出了一种新的Token重构目标，训练RETFound-Green模型，仅使用7.5万张公开图像和400倍更少的计算资源。RETFound-Green的训练成本低于100美元，且在多个任务上表现优异，显示出其高效性和环境友好性。

🔬 方法详解

问题定义：本文旨在解决现有视网膜基础模型在训练和使用中对大量数据和计算资源的依赖，导致的高成本和环境影响问题。现有模型如RETFound-MEH和DERETFound虽然性能优越，但训练成本高达数万美元，且资源消耗巨大。

核心思路：论文提出了一种新的Token重构目标，通过优化模型训练过程，使其能够在使用更少数据和计算资源的情况下，仍然保持高性能。这种方法的设计旨在提高数据利用效率和降低环境影响。

技术框架：RETFound-Green模型的训练流程包括数据预处理、Token重构目标的定义、模型训练和评估等主要模块。模型通过对输入图像进行Token化处理，利用重构目标进行自监督学习，从而实现高效训练。

关键创新：RETFound-Green的核心创新在于Token重构目标的引入，这一方法显著降低了对数据和计算资源的需求。与传统模型相比，RETFound-Green在训练效率和环境影响上具有显著优势。

关键设计：在模型设计中，采用了特定的损失函数来优化Token重构过程，并调整了网络结构以适应较小的数据集。此外，模型在存储和计算效率上进行了优化，确保在资源有限的情况下仍能实现高效运行。

📊 实验亮点

RETFound-Green在119项任务中表现出色，成功在68项任务上超过DERETFound和RETFound-MEH，后者分别为21项和13项。该模型的训练成本低于100美元，计算效率提高了2.7倍，存储需求减少了2.6倍，显示出其在资源利用上的显著优势。

🎯 应用场景

RETFound-Green模型在医学影像分析领域具有广泛的应用潜力，尤其是在视网膜疾病的检测和诊断中。由于其低成本和高效性，该模型能够帮助医疗机构在数据稀缺的情况下，快速部署人工智能解决方案，提升诊断效率。此外，该方法的Token重构目标也可扩展至其他医学影像领域，推动更广泛的应用。

📄 摘要（原文）

Artificial Intelligence in medicine is traditionally limited by the lack of massive training datasets. Foundation models, pre-trained models that can be adapted to downstream tasks with small datasets, could alleviate this problem. Researchers at Moorfields Eye Hospital (MEH) proposed RETFound-MEH, a retinal foundation model trained on 900,000 images, including private hospital data. Recently, data-efficient DERETFound was proposed providing comparable performance while being trained on only 150,000 publicly available images. However, both these models required very substantial resources to train initially and are resource-intensive in downstream use. We propose a novel Token Reconstruction objective that we use to train RETFound-Green, a retinal foundation model trained using only 75,000 publicly available images and 400 times less compute. We estimate the cost of training RETFound-MEH and DERETFound at \$10,000 and \$14,000, respectively. RETFound-Green could be trained for less than \$100, with equally reduced environmental impact. RETFound-Green is also far more efficient in downstream use: it can be downloaded 14 times faster, computes vector embeddings 2.7 times faster which then require 2.6 times less storage space. Despite this, RETFound-Green does not perform systematically worse. In fact, on various task on three downstream datasets from Brazil, India and China, it performs best on 68 tasks out of 119 comparisons, versus 21 for DERETFound and 13 for RETFound-MEH. Our results suggest that RETFound-Green is a very efficient, high-performance retinal foundation model. We anticipate that our Token Reconstruction objective could be scaled up for even higher performance and be applied to other domains beyond retinal imaging.