Less Could Be Better: Parameter-efficient Fine-tuning Advances Medical Vision Foundation Models

📄 arXiv: 2401.12215v1 📥 PDF

作者: Chenyu Lian, Hong-Yu Zhou, Yizhou Yu, Liansheng Wang

分类: cs.CV

发布日期: 2024-01-22

备注: Technical report

🔗 代码/项目: GITHUB

💡 一句话要点

提出参数高效微调方法以提升医学影像模型性能

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 医学影像 迁移学习 参数高效微调 LoRA 深度学习

📋 核心要点

  1. 现有医学影像模型在迁移学习中通常依赖全参数微调，导致计算资源浪费和效率低下。
  2. 论文提出了LoRA作为一种参数高效微调方法，旨在用更少的可调参数实现更好的迁移学习效果。
  3. 实验结果表明，LoRA在大多数任务中优于全参数微调，且在数据高效学习任务上设立了新的性能基准。

📝 摘要（中文）

参数高效微调（PEFT）最初为利用预训练的大型语言模型而开发，最近在计算机视觉任务中显示出有效性。然而，PEFT在医学视觉基础模型上的有效性尚不明确，亟待探索。本文通过对胸部放射影像基础模型应用PEFT进行详细实证研究，重点分析了LoRA这一代表性PEFT方法，并与全参数微调（FFT）进行了比较。结果显示，LoRA在18个迁移学习任务中有13个超越FFT，且可调参数少于1%。结合LoRA与基础模型，我们在数据高效学习任务上设立了新的最先进记录，例如在NIH ChestX-ray14数据集上，使用1%标记数据获得80.6%的AUROC分数。希望本研究能引起社区对PEFT在医学影像任务中应用的更多关注。

🔬 方法详解

问题定义：本文旨在解决医学影像模型在迁移学习中效率低下的问题，现有的全参数微调方法需要大量计算资源，限制了其在实际应用中的可行性。

核心思路：论文提出使用LoRA作为参数高效微调的方法，通过仅调整少量参数来实现模型性能的提升，旨在减少计算开销并提高迁移学习的效率。

技术框架：整体架构包括预训练的胸部放射影像基础模型，LoRA模块的集成，以及与全参数微调的对比实验。主要阶段包括模型训练、参数调整和性能评估。

关键创新：LoRA的核心创新在于其通过低秩适配的方式，仅需调整少量参数即可实现显著的性能提升，这与传统的全参数微调方法形成鲜明对比。

关键设计：在LoRA中，设计了特定的参数设置和损失函数，以确保在少量可调参数下仍能保持模型的表达能力和学习能力。

🖼️ 关键图片

img_0

📊 实验亮点

实验结果显示，LoRA在18个迁移学习任务中有13个任务超越全参数微调，性能提升幅度最高达到2.9%。在NIH ChestX-ray14数据集上，使用1%标记数据获得80.6%的AUROC分数，设立了新的最先进记录。

🎯 应用场景

该研究的潜在应用领域包括医学影像分析、疾病诊断支持系统以及医疗数据挖掘等。通过提高医学影像模型的迁移学习效率，能够在资源有限的情况下实现更高的诊断准确性，具有重要的实际价值和社会影响。

📄 摘要（原文）

Parameter-efficient fine-tuning (PEFT) that was initially developed for exploiting pre-trained large language models has recently emerged as an effective approach to perform transfer learning on computer vision tasks. However, the effectiveness of PEFT on medical vision foundation models is still unclear and remains to be explored. As a proof of concept, we conducted a detailed empirical study on applying PEFT to chest radiography foundation models. Specifically, we delved into LoRA, a representative PEFT method, and compared it against full-parameter fine-tuning (FFT) on two self-supervised radiography foundation models across three well-established chest radiograph datasets. Our results showed that LoRA outperformed FFT in 13 out of 18 transfer learning tasks by at most 2.9% using fewer than 1% tunable parameters. Combining LoRA with foundation models, we set up new state-of-the-art on a range of data-efficient learning tasks, such as an AUROC score of 80.6% using 1% labeled data on NIH ChestX-ray14. We hope this study can evoke more attention from the community in the use of PEFT for transfer learning on medical imaging tasks. Code and models are available at https://github.com/RL4M/MED-PEFT.