A Vision-Language Foundation Model to Enhance Efficiency of Chest X-ray Interpretation

📄 arXiv: 2401.12208v2 📥 PDF

作者: Zhihong Chen, Maya Varma, Justin Xu, Magdalini Paschali, Dave Van Veen, Andrew Johnston, Alaa Youssef, Louis Blankemeier, Christian Bluethgen, Stephan Altmayer, Jeya Maria Jose Valanarasu, Mohamed Siddig Eltayeb Muneer, Eduardo Pontes Reis, Joseph Paul Cohen, Cameron Olsen, Tanishq Mathew Abraham, Emily B. Tsai, Christopher F. Beaulieu, Jenia Jitsev, Sergios Gatidis, Jean-Benoit Delbrouck, Akshay S. Chaudhari, Curtis P. Langlotz

分类: cs.CV, cs.CL

发布日期: 2024-01-22 (更新: 2024-12-18)

备注: 26 pages, 8 figures

💡 一句话要点

提出CheXagent以提高胸部X光解读效率

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 胸部X光 视觉-语言模型 自动报告生成 多模态学习 临床应用

📋 核心要点

  1. 现有的胸部X光解读方法缺乏高效的工具，导致医生在报告撰写上耗时较长。
  2. 本研究提出了CheXagent，一个基于视觉-语言的基础模型，旨在提高胸部X光解读的效率。
  3. 实验结果表明，CheXagent能显著提高放射科医生的写作效率，住院医师节省了36%的时间。

📝 摘要（中文）

每年进行超过14亿次胸部X光（CXR）检查，因其作为初步诊断测试的成本效益而广泛应用。尽管基础模型是一个有前景的解决方案，但缺乏公开的大规模数据集和基准限制了其迭代开发和实际评估。为此，研究团队构建了一个大规模数据集（CheXinstruct），并利用该数据集训练了一个视觉-语言基础模型（CheXagent）。在新的评估基准（CheXbench）上，CheXagent在八种不同任务类型上表现出竞争力。临床评估显示，使用CheXagent起草的报告能为住院医师节省36%的时间，且在81%的情况下提高了写作效率，未影响报告质量。整体而言，CheXagent能够有效执行多种CXR解读任务，并有潜力辅助放射科医生的日常临床工作。

🔬 方法详解

问题定义：本研究旨在解决胸部X光解读过程中的时间效率问题。现有方法在报告撰写上耗时较长，缺乏有效的自动化工具。

核心思路：论文提出的CheXagent模型结合视觉和语言信息，利用大规模数据集进行训练，以实现自动化的胸部X光报告生成。这样的设计旨在提高解读效率并减轻医生的负担。

技术框架：CheXagent的整体架构包括数据预处理、模型训练和评估三个主要阶段。首先，使用CheXinstruct数据集进行模型训练，然后在CheXbench基准上进行性能评估。

关键创新：CheXagent的核心创新在于其结合了视觉和语言的多模态学习能力，能够在多种解读任务中表现出色。这与传统的单一模态方法形成了鲜明对比。

关键设计：在模型设计中，采用了特定的损失函数以优化生成报告的质量，并在网络结构上进行了调整，以适应胸部X光图像和文本之间的关系。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，使用CheXagent起草的报告能为住院医师节省36%的时间，且在81%的案例中提高了写作效率。与传统方法相比，CheXagent在报告质量上未出现下降，显示出其在临床应用中的实际价值。

🎯 应用场景

该研究的潜在应用领域包括医院的放射科和远程医疗服务。CheXagent能够帮助放射科医生提高报告撰写的效率，减轻工作负担，从而提高整体医疗服务质量。未来，该模型还有望扩展到其他医学影像的解读任务中。

📄 摘要（原文）

Over 1.4 billion chest X-rays (CXRs) are performed annually due to their cost-effectiveness as an initial diagnostic test. This scale of radiological studies provides a significant opportunity to streamline CXR interpretation and documentation. While foundation models are a promising solution, the lack of publicly available large-scale datasets and benchmarks inhibits their iterative development and real-world evaluation. To overcome these challenges, we constructed a large-scale dataset (CheXinstruct), which we utilized to train a vision-language foundation model (CheXagent). We systematically demonstrated competitive performance across eight distinct task types on our novel evaluation benchmark (CheXbench). Beyond technical validation, we assessed the real-world utility of CheXagent in directly drafting radiology reports. Our clinical assessment with eight radiologists revealed a 36% time saving for residents using CheXagent-drafted reports, while attending radiologists showed no significant time difference editing resident-drafted or CheXagent-drafted reports. The CheXagent-drafted reports improved the writing efficiency of both radiology residents and attending radiologists in 81% and 61% of cases, respectively, without loss of quality. Overall, we demonstrate that CheXagent can effectively perform a variety of CXR interpretation tasks and holds potential to assist radiologists in routine clinical workflows.