Multimodal Foundation Models Exploit Text to Make Medical Image Predictions

📄 arXiv: 2311.05591v2 📥 PDF

作者: Thomas Buckley, James A. Diao, Pranav Rajpurkar, Adam Rodman, Arjun K. Manrai

分类: cs.CV, cs.AI, cs.CL

发布日期: 2023-11-09 (更新: 2024-11-25)

💡 一句话要点

提出多模态基础模型以提升医学图像预测准确性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态基础模型 医学图像解读 文本信息 模型性能评估 辅助诊断系统

📋 核心要点

  1. 现有多模态基础模型在医学图像解读中表现不一致，缺乏对不同数据模态整合机制的深入理解。
  2. 本文通过评估多种模型在不同文本使用条件下的图像解读能力，探讨文本对图像预测的影响。
  3. 实验结果表明，模型的图像预测准确性与文本信息量呈正相关，而医生的表现则未受文本影响。

📝 摘要（中文）

多模态基础模型在医学图像解读中表现出引人注目的但又相互矛盾的性能。然而，这些模型如何整合和优先考虑不同的数据模态（包括图像和文本）的机制仍然不够清晰。本文使用1014个多模态医学案例，评估了不同模型在使用和不使用文本描述下的单模态和多模态图像解读能力。结果显示，图像预测主要依赖文本信息，且准确率随着信息量的增加而单调上升。相对而言，医生在医学图像解读中的表现并未因文本信息而提升。文本的利用具有双刃剑效应，轻微的错误诊断建议会显著降低基于图像的分类性能。最后，医生评估发现，当文本信息高度丰富时，图像的提供对模型性能的影响有限或无效。研究结果表明，多模态AI模型在医学诊断推理中可能有用，但其准确性在很大程度上受到文本利用的驱动。

🔬 方法详解

问题定义：本文旨在解决多模态基础模型在医学图像解读中的性能不一致性及其对文本信息依赖的理解不足。现有方法未能有效揭示不同模态间的整合机制。

核心思路：通过对1014个多模态医学案例的评估，探讨文本信息在图像预测中的作用，分析其对模型性能的影响，尤其是错误信息的影响。

技术框架：研究采用了多种模型，包括GPT-4、Gemini Pro 1.0、Llama-3.2-90B和LLaVA-Med-v1.5，比较了在有无文本描述情况下的图像解读能力，分析了模型在不同文本信息量下的表现。

关键创新：本研究的创新点在于揭示了文本信息对医学图像预测的双重影响，尤其是错误文本对分类性能的显著降低，这一发现与传统方法的理解存在本质区别。

关键设计：研究中对模型进行了系统的评估，重点关注文本信息的丰富程度对图像预测准确性的影响，采用了多种评估指标来量化模型性能。实验设计确保了对比的公平性和结果的可靠性。

📊 实验亮点

实验结果显示，所有模型的图像预测准确性与文本信息量呈正相关，且在文本信息丰富的情况下，模型的性能显著提升。相较于人类医生，模型在文本辅助下的表现更为优越，但错误文本则会导致性能显著下降。

🎯 应用场景

该研究的潜在应用领域包括医学影像分析、辅助诊断系统和智能医疗决策支持。通过提升多模态模型在医学图像解读中的准确性，可能为临床医生提供更可靠的决策依据，进而改善患者的诊疗效果。

📄 摘要（原文）

Multimodal foundation models have shown compelling but conflicting performance in medical image interpretation. However, the mechanisms by which these models integrate and prioritize different data modalities, including images and text, remain poorly understood. Here, using a diverse collection of 1014 multimodal medical cases, we evaluate the unimodal and multimodal image interpretation abilities of proprietary (GPT-4, Gemini Pro 1.0) and open-source (Llama-3.2-90B, LLaVA-Med-v1.5) multimodal foundational models with and without the use of text descriptions. Across all models, image predictions were largely driven by exploiting text, with accuracy increasing monotonically with the amount of informative text. By contrast, human performance on medical image interpretation did not improve with informative text. Exploitation of text is a double-edged sword; we show that even mild suggestions of an incorrect diagnosis in text diminishes image-based classification, reducing performance dramatically in cases the model could previously answer with images alone. Finally, we conducted a physician evaluation of model performance on long-form medical cases, finding that the provision of images either reduced or had no effect on model performance when text is already highly informative. Our results suggest that multimodal AI models may be useful in medical diagnostic reasoning but that their accuracy is largely driven, for better and worse, by their exploitation of text.