MedPromptX: Grounded Multimodal Prompting for Chest X-ray Diagnosis

📄 arXiv: 2403.15585v4 📥 PDF

作者: Mai A. Shaaban, Adnan Khan, Mohammad Yaqub

分类: cs.CV, cs.AI

发布日期: 2024-03-22 (更新: 2025-01-27)

DOI: 10.1007/978-3-031-84525-3_18

🔗 代码/项目: GITHUB

💡 一句话要点

提出MedPromptX以解决胸部X光诊断中的多模态数据整合问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态融合 胸部X光 临床决策支持 大型语言模型 视觉定位 少量示例提示 电子健康记录

📋 核心要点

  1. 现有方法在整合胸部X光图像与电子健康记录时面临数据不完整和幻觉问题，影响诊断准确性。
  2. 论文提出MedPromptX，通过结合多模态大型语言模型、少量示例提示和视觉定位，增强胸部X光诊断的有效性。
  3. 实验结果表明，MedPromptX在F1-score上比基线提高了11%，显示出其在临床应用中的潜力。

📝 摘要（中文）

胸部X光图像常用于预测急性和慢性心肺疾病，但由于电子健康记录（EHR）不完整，整合这些图像与结构化临床数据面临挑战。本文提出MedPromptX，这是首个将多模态大型语言模型（MLLMs）、少量示例提示（FP）和视觉定位（VG）结合的临床决策支持系统，以实现胸部X光诊断。通过利用预训练的MLLM，补充缺失的EHR信息，提供对患者病史的全面理解。此外，FP减少了对MLLMs的广泛训练需求，有效应对了幻觉问题。我们还提出了一种新技术，动态优化少量示例数据，以实时适应新患者场景。实验结果显示，MedPromptX在F1-score上比基线提高了11%。

🔬 方法详解

问题定义：本文旨在解决胸部X光图像与电子健康记录整合中的数据不完整性和幻觉问题。现有方法在处理缺失信息时效果不佳，导致诊断准确性降低。

核心思路：MedPromptX通过结合多模态大型语言模型（MLLMs）、少量示例提示（FP）和视觉定位（VG）来增强胸部X光的诊断能力。MLLMs用于补充缺失的EHR信息，而FP则减少了对模型的训练需求并降低了幻觉现象。

技术框架：系统整体架构包括三个主要模块：1) MLLM用于处理和补充EHR数据；2) FP用于动态调整少量示例以适应新患者；3) VG用于在X光图像中定位异常区域。

关键创新：MedPromptX的主要创新在于动态优化少量示例数据的技术，使其能够实时适应不同患者场景，这在现有方法中尚未实现。

关键设计：在模型设计中，采用了预训练的MLLM，并通过特定的损失函数来优化模型性能。同时，选择高质量的少量示例候选以提高模型的有效性。具体参数设置和网络结构细节在论文中进行了详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

MedPromptX在实验中表现出色，相较于基线模型，其F1-score提高了11%。这一显著提升表明该系统在多模态数据整合和胸部X光诊断中的有效性，展示了其作为临床决策支持工具的潜力。

🎯 应用场景

MedPromptX的研究成果可广泛应用于医疗影像分析领域，特别是在胸部X光诊断中。通过有效整合多模态数据，该系统能够提高临床决策的准确性，帮助医生更好地识别和诊断心肺疾病，具有重要的实际价值和潜在的社会影响。

📄 摘要（原文）

Chest X-ray images are commonly used for predicting acute and chronic cardiopulmonary conditions, but efforts to integrate them with structured clinical data face challenges due to incomplete electronic health records (EHR). This paper introduces MedPromptX, the first clinical decision support system that integrates multimodal large language models (MLLMs), few-shot prompting (FP) and visual grounding (VG) to combine imagery with EHR data for chest X-ray diagnosis. A pre-trained MLLM is utilized to complement the missing EHR information, providing a comprehensive understanding of patients' medical history. Additionally, FP reduces the necessity for extensive training of MLLMs while effectively tackling the issue of hallucination. Nevertheless, the process of determining the optimal number of few-shot examples and selecting high-quality candidates can be burdensome, yet it profoundly influences model performance. Hence, we propose a new technique that dynamically refines few-shot data for real-time adjustment to new patient scenarios. Moreover, VG narrows the search area in X-ray images, thereby enhancing the identification of abnormalities. We also release MedPromptX-VQA, a new in-context visual question answering dataset encompassing interleaved images and EHR data derived from MIMIC-IV and MIMIC-CXR-JPG databases. Results demonstrate the SOTA performance of MedPromptX, achieving an 11% improvement in F1-score compared to the baselines. Code and data are publicly available on https://github.com/BioMedIA-MBZUAI/MedPromptX.