Low-resource finetuning of foundation models beats state-of-the-art in histopathology
作者: Benedikt Roth, Valentin Koch, Sophia J. Wagner, Julia A. Schnabel, Carsten Marr, Tingying Peng
分类: cs.CV
发布日期: 2024-01-09
期刊: 2024 IEEE International Symposium on Biomedical Imaging (ISBI)
DOI: 10.1109/ISBI56570.2024.10635695
💡 一句话要点
低资源微调基础模型在组织病理学中超越现有技术
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 组织病理学 基础模型 特征提取 微调 计算病理学 弱监督学习 图像分类
📋 核心要点
- 现有的计算病理学方法依赖于高质量的特征提取，但通常需要大量资源和数据，限制了其普遍适用性。
- 本研究提出通过微调基础模型来优化特征提取，展示了即使在资源有限的情况下也能实现良好的性能。
- 实验结果表明，微调基础模型在切片级和补丁级分类任务中均能超越现有的最先进特征提取器，具有显著的性能提升。
📝 摘要（中文）
为了处理计算病理学中全切片图像的大规模数据，大多数方法首先将图像切分为较小的补丁，提取特征，然后通过弱监督学习聚合特征向量。这一工作流程的性能高度依赖于提取特征的质量。近期，计算机视觉中的基础模型表明，通过监督或自监督学习利用大量数据可以提高特征质量和任务的泛化能力。本研究对流行的视觉基础模型作为组织病理学数据的特征提取器进行了基准测试，评估了模型在切片级分类和补丁级分类中的表现。我们的实验表明，通过在单个GPU上微调基础模型，仅需两小时或三天的时间，即可匹配或超越计算病理学领域的最先进特征提取器。这一发现表明，即使资源有限，也可以微调特征提取器以适应特定的下游任务和数据集。
🔬 方法详解
问题定义：本研究旨在解决计算病理学中全切片图像处理的特征提取问题。现有方法通常依赖于高质量的特征提取，但需要大量的资源和数据，限制了其应用范围。
核心思路：论文的核心思路是利用基础模型进行特征提取，并通过微调来适应特定的下游任务。通过这种方式，即使在资源有限的情况下，也能获得高质量的特征。
技术框架：整体架构包括两个主要阶段：首先是使用基础模型提取图像补丁的特征，其次是通过微调模型来优化特征提取的效果。评估包括切片级和补丁级分类任务。
关键创新：最重要的技术创新点在于通过微调基础模型，使其能够在资源有限的情况下达到或超越现有特征提取器的性能。这一方法显著降低了对大规模数据和计算资源的依赖。
关键设计：在微调过程中，使用了特定的损失函数和参数设置，以确保模型能够有效学习特定任务的特征。具体的网络结构和训练细节在论文中有详细描述。
🖼️ 关键图片
📊 实验亮点
实验结果显示，微调基础模型在切片级和补丁级分类任务中均能达到或超越现有最先进特征提取器的性能。在仅用两小时或三天的微调时间内，模型的表现显著提升，展示了其在低资源环境下的有效性。
🎯 应用场景
该研究的潜在应用领域包括医疗影像分析、组织病理学诊断和生物医学研究。通过优化特征提取过程，能够提高病理图像分析的效率和准确性，推动个性化医疗的发展。未来，该方法可能会在其他领域的图像分析任务中得到广泛应用。
📄 摘要（原文）
To handle the large scale of whole slide images in computational pathology, most approaches first tessellate the images into smaller patches, extract features from these patches, and finally aggregate the feature vectors with weakly-supervised learning. The performance of this workflow strongly depends on the quality of the extracted features. Recently, foundation models in computer vision showed that leveraging huge amounts of data through supervised or self-supervised learning improves feature quality and generalizability for a variety of tasks. In this study, we benchmark the most popular vision foundation models as feature extractors for histopathology data. We evaluate the models in two settings: slide-level classification and patch-level classification. We show that foundation models are a strong baseline. Our experiments demonstrate that by finetuning a foundation model on a single GPU for only two hours or three days depending on the dataset, we can match or outperform state-of-the-art feature extractors for computational pathology. These findings imply that even with little resources one can finetune a feature extractor tailored towards a specific downstream task and dataset. This is a considerable shift from the current state, where only few institutions with large amounts of resources and datasets are able to train a feature extractor. We publish all code used for training and evaluation as well as the finetuned models.