MAIRA-1: A specialised large multimodal model for radiology report generation

📄 arXiv: 2311.13668v3 📥 PDF

作者: Stephanie L. Hyland, Shruthi Bannur, Kenza Bouzid, Daniel C. Castro, Mercy Ranjit, Anton Schwaighofer, Fernando Pérez-García, Valentina Salvatelli, Shaury Srivastav, Anja Thieme, Noel Codella, Matthew P. Lungren, Maria Teodora Wetscherek, Ozan Oktay, Javier Alvarez-Valle

分类: cs.CL, cs.AI, cs.CV

发布日期: 2023-11-22 (更新: 2024-04-26)

备注: 18 pages, 9 tables, 5 figures. v2 adds test IDs and image encoder citation. v3 fixes error in NPV/specificity

💡 一句话要点

提出MAIRA-1以解决胸部X光报告生成问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 放射学 多模态模型 报告生成 胸部X光 图像理解 自然语言处理 医疗AI

📋 核心要点

  1. 现有的放射学报告生成方法在图像理解和生成质量上存在不足，难以满足临床需求。
  2. MAIRA-1模型通过结合CXR特定的图像编码器与微调的大型语言模型，提升了报告生成的质量和准确性。
  3. 实验结果表明，MAIRA-1在RadCliQ指标上显著优于现有方法，并在生成报告的流畅性和准确性上表现出色。

📝 摘要（中文）

我们提出了一种针对放射学的多模态模型，用于从胸部X光（CXR）生成放射学报告。我们的工作基于大型语言模型与预训练视觉编码器的对齐，展示了多模态模型在图像理解和描述能力上的提升。MAIRA-1结合了特定于CXR的图像编码器和基于Vicuna-7B的微调大型语言模型，通过文本数据增强，生成高质量的报告。实验结果显示，MAIRA-1在与放射科医生对齐的RadCliQ指标上显著提升，并在所有考虑的词汇指标上表现优异。手动评审模型输出表明生成报告的流畅性和准确性，同时揭示了现有评估方法未能捕捉的失败模式。

🔬 方法详解

问题定义：本论文旨在解决从胸部X光生成放射学报告的具体问题。现有方法在图像理解和生成质量上存在不足，难以满足临床需求。

核心思路：论文提出的核心思路是将大型语言模型与特定于CXR的图像编码器相结合，通过对齐和微调，提升模型的多模态理解能力，从而生成高质量的报告。

技术框架：整体架构包括一个CXR特定的图像编码器和一个基于Vicuna-7B的微调大型语言模型。模型通过文本数据增强来提升生成效果，流程包括图像输入、特征提取、文本生成等主要模块。

关键创新：MAIRA-1的关键创新在于其专门针对CXR的图像编码器与大型语言模型的结合，显著提升了报告生成的质量，与现有方法相比具有本质区别。

关键设计：在模型设计中，采用了特定的损失函数和网络结构，以优化图像与文本之间的对齐效果，确保生成报告的流畅性和准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，MAIRA-1在RadCliQ指标上显著提升，超越了现有基线，且在所有词汇指标上均表现优异。手动评审结果表明，生成的报告在流畅性和准确性方面均有显著改善，展示了该模型的实际应用潜力。

🎯 应用场景

该研究的潜在应用领域包括医疗影像分析、放射学报告自动生成及辅助诊断系统。MAIRA-1能够提高放射科医生的工作效率，减少报告生成时间，同时提升报告的质量和准确性，对临床实践具有重要价值和影响。

📄 摘要（原文）

We present a radiology-specific multimodal model for the task for generating radiological reports from chest X-rays (CXRs). Our work builds on the idea that large language model(s) can be equipped with multimodal capabilities through alignment with pre-trained vision encoders. On natural images, this has been shown to allow multimodal models to gain image understanding and description capabilities. Our proposed model (MAIRA-1) leverages a CXR-specific image encoder in conjunction with a fine-tuned large language model based on Vicuna-7B, and text-based data augmentation, to produce reports with state-of-the-art quality. In particular, MAIRA-1 significantly improves on the radiologist-aligned RadCliQ metric and across all lexical metrics considered. Manual review of model outputs demonstrates promising fluency and accuracy of generated reports while uncovering failure modes not captured by existing evaluation practices. More information and resources can be found on the project website: https://aka.ms/maira.