Towards a clinically accessible radiology foundation model: open-access and lightweight, with automated evaluation

📄 arXiv: 2403.08002v5 📥 PDF

作者: Juan Manuel Zambrano Chaves, Shih-Cheng Huang, Yanbo Xu, Hanwen Xu, Naoto Usuyama, Sheng Zhang, Fei Wang, Yujia Xie, Mahmoud Khademi, Ziyi Yang, Hany Awadalla, Julia Gong, Houdong Hu, Jianwei Yang, Chunyuan Li, Jianfeng Gao, Yu Gu, Cliff Wong, Mu Wei, Tristan Naumann, Muhao Chen, Matthew P. Lungren, Akshay Chaudhari, Serena Yeung-Levy, Curtis P. Langlotz, Sheng Wang, Hoifung Poon

分类: cs.CL, cs.CV

发布日期: 2024-03-12 (更新: 2024-06-27)

期刊: Nature Communications volume 16, Article number: 3108 (2025)

DOI: 10.1038/s41467-025-58344-x

💡 一句话要点

提出轻量级多模态模型以解决放射学临床应用中的可及性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 放射学 多模态模型 开源模型 临床应用 自动评估 数据效率 轻量级设计 医学影像

📋 核心要点

  1. 现有大型模型在多模态生物医学应用中存在显著性能差距，且临床使用面临可及性和成本等问题。
  2. 本文提出了一种轻量级的开源多模态模型，通过模块化设计和数据高效利用，解决放射学中的临床需求。
  3. LlaVA-Rad模型在报告生成和跨模态检索等任务上表现优异，超越了如GPT-4V等更大模型，且推理速度快。

📝 摘要（中文）

大型基础模型在生物医学领域的潜力引发了广泛关注，但在实际临床应用中仍面临诸多挑战。本文提出了一种开源的小型多模态模型（SMM），旨在解决放射学中的可及性、模型成本和手动评估等问题。通过结合最新的预训练模型和轻量级适配器，本文构建了一个包含超过69.7万对放射学图像-文本的数据集，并提出了基于GPT-4的评估指标CheXprompt。最终，LlaVA-Rad模型在报告生成和跨模态检索等标准任务上取得了领先的效果，甚至超越了更大规模的模型，展现出在真实临床应用中的潜力。

🔬 方法详解

问题定义：本文旨在解决大型基础模型在放射学临床应用中的可及性和性能不足的问题。现有模型在多模态生物医学应用中存在显著的性能差距，且临床使用面临高成本和繁琐的手动评估等挑战。

核心思路：通过训练开源的小型多模态模型（SMM），结合最新的预训练模型和轻量级适配器，最大化数据利用效率，以满足放射学的临床需求。

技术框架：整体架构包括图像和文本的预训练模型模块，以及一个轻量级适配器，用于将每种模态的输出映射到文本嵌入空间。训练过程中使用了超过69.7万对放射学图像-文本的数据集。

关键创新：提出的CheXprompt评估指标基于GPT-4，能够与专家评估相媲美，且LlaVA-Rad模型在标准放射学任务上表现优异，超越了更大规模的模型。

关键设计：在数据工程和多模态训练中进行了系统的消融研究，优化了数据选择和模型训练的各个环节，以确保模型的高效性和准确性。具体的参数设置和损失函数设计也经过精心调整，以适应放射学的特定需求。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

LlaVA-Rad模型在报告生成和跨模态检索任务上达到了领先的效果，超越了如GPT-4V和Med-PaLM M等更大模型，展现出在标准任务中的优越性能。该模型的推理速度快，能够在单个V100 GPU上高效运行，适合真实临床应用。

🎯 应用场景

该研究的潜在应用领域包括医院的放射学诊断、医学影像分析和临床决策支持系统。LlaVA-Rad模型的轻量级特性使其能够在资源有限的环境中运行，具有广泛的实际价值和未来影响，能够帮助临床医生更高效地处理患者数据。

📄 摘要（原文）

The scaling laws and extraordinary performance of large foundation models motivate the development and utilization of such models in biomedicine. However, despite early promising results on some biomedical benchmarks, there are still major challenges that need to be addressed before these models can be used in real-world clinics. Frontier general-domain models such as GPT-4V still have significant performance gaps in multimodal biomedical applications. More importantly, less-acknowledged pragmatic issues, including accessibility, model cost, and tedious manual evaluation make it hard for clinicians to use state-of-the-art large models directly on private patient data. Here, we explore training open-source small multimodal models (SMMs) to bridge competency gaps for unmet clinical needs in radiology. To maximize data efficiency, we adopt a modular approach by incorporating state-of-the-art pre-trained models for image and text modalities, and focusing on training a lightweight adapter to ground each modality to the text embedding space, as exemplified by LLaVA-Med. For training, we assemble a large dataset of over 697 thousand radiology image-text pairs. For evaluation, we propose CheXprompt, a GPT-4-based metric for factuality evaluation, and demonstrate its parity with expert evaluation. For best practice, we conduct a systematic ablation study on various choices in data engineering and multimodal training. The resulting LlaVA-Rad (7B) model attains state-of-the-art results on standard radiology tasks such as report generation and cross-modal retrieval, even outperforming much larger models such as GPT-4V and Med-PaLM M (84B). The inference of LlaVA-Rad is fast and can be performed on a single V100 GPU in private settings, offering a promising state-of-the-art tool for real-world clinical applications.