Hidden flaws behind expert-level accuracy of multimodal GPT-4 vision in medicine
作者: Qiao Jin, Fangyuan Chen, Yiliang Zhou, Ziyang Xu, Justin M. Cheung, Robert Chen, Ronald M. Summers, Justin F. Rousseau, Peiyun Ni, Marc J Landsman, Sally L. Baxter, Subhi J. Al'Aref, Yijia Li, Alex Chen, Josef A. Brejt, Michael F. Chiang, Yifan Peng, Zhiyong Lu
分类: cs.CV, cs.AI, cs.CL
发布日期: 2024-01-16 (更新: 2024-08-31)
期刊: npj Digital Medicine, 2024
DOI: 10.1038/s41746-024-01185-7
💡 一句话要点
揭示多模态GPT-4在医学领域的隐藏缺陷
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态GPT-4 医学影像分析 推理缺陷 临床决策支持 人工智能在医学中的应用
📋 核心要点
- 现有研究主要集中于多项选择题的准确性，缺乏对模型推理过程的深入分析。
- 本研究通过全面分析GPT-4V在医学影像挑战中的表现，揭示其推理缺陷。
- 实验结果显示，GPT-4V在多项选择题的准确性上与人类医生相当，但推理质量存在明显问题。
📝 摘要（中文）
近期研究表明，具有视觉能力的生成预训练变换器4（GPT-4V）在医学挑战任务中超越了人类医生。然而，这些评估主要集中在多项选择题的准确性上。我们的研究通过对GPT-4V在新英格兰医学杂志影像挑战中的图像理解、医学知识回忆和多模态推理的全面分析，扩展了现有研究的范围。评估结果确认，GPT-4V在多项选择准确性方面与人类医生相当（81.6%对77.8%）。尽管如此，我们发现GPT-4V在做出正确选择时常常呈现出有缺陷的推理，尤其是在图像理解方面（35.5%）。我们的研究强调，在将此类多模态AI模型整合到临床工作流程之前，需对其推理进行更深入的评估。
🔬 方法详解
问题定义：本研究旨在解决GPT-4V在医学影像理解中的推理缺陷，现有方法未能全面评估其推理过程的有效性和可靠性。
核心思路：通过对GPT-4V在新英格兰医学杂志影像挑战中的表现进行全面分析，探讨其在图像理解和医学知识回忆中的推理过程，揭示潜在的缺陷。
技术框架：研究采用了多模态评估框架，主要包括图像理解、知识回忆和推理三个模块，系统性地分析GPT-4V的表现。
关键创新：本研究的创新点在于不仅关注模型的最终准确性，还深入探讨其推理过程中的缺陷，尤其是在图像理解方面的表现。
关键设计：在评估过程中，采用了多项选择题的准确性作为基线，同时引入了推理质量的评估指标，以全面反映模型的实际能力。
🖼️ 关键图片
📊 实验亮点
实验结果显示，GPT-4V在多项选择题的准确性上达到81.6%，相比人类医生的77.8%有显著提升。此外，在医生错误回答的情况下，GPT-4V的准确率超过78%。然而，模型在正确选择时的推理缺陷率高达35.5%，特别是在图像理解方面表现不佳。
🎯 应用场景
该研究的潜在应用领域包括医学影像分析、临床决策支持系统和医疗教育等。通过深入理解多模态AI模型的推理过程，可以更好地指导其在临床环境中的应用，提升医疗服务的质量和效率。未来，随着技术的进步，可能会推动更智能的医疗辅助工具的发展。
📄 摘要（原文）
Recent studies indicate that Generative Pre-trained Transformer 4 with Vision (GPT-4V) outperforms human physicians in medical challenge tasks. However, these evaluations primarily focused on the accuracy of multi-choice questions alone. Our study extends the current scope by conducting a comprehensive analysis of GPT-4V's rationales of image comprehension, recall of medical knowledge, and step-by-step multimodal reasoning when solving New England Journal of Medicine (NEJM) Image Challenges - an imaging quiz designed to test the knowledge and diagnostic capabilities of medical professionals. Evaluation results confirmed that GPT-4V performs comparatively to human physicians regarding multi-choice accuracy (81.6% vs. 77.8%). GPT-4V also performs well in cases where physicians incorrectly answer, with over 78% accuracy. However, we discovered that GPT-4V frequently presents flawed rationales in cases where it makes the correct final choices (35.5%), most prominent in image comprehension (27.2%). Regardless of GPT-4V's high accuracy in multi-choice questions, our findings emphasize the necessity for further in-depth evaluations of its rationales before integrating such multimodal AI models into clinical workflows.