PathMMU: A Massive Multimodal Expert-Level Benchmark for Understanding and Reasoning in Pathology

📄 arXiv: 2401.16355v3 📥 PDF

作者: Yuxuan Sun, Hao Wu, Chenglu Zhu, Sunyi Zheng, Qizi Chen, Kai Zhang, Yunlong Zhang, Dan Wan, Xiaoxiao Lan, Mengyue Zheng, Jingxiong Li, Xinheng Lyu, Tao Lin, Lin Yang

分类: cs.CV

发布日期: 2024-01-29 (更新: 2024-03-20)

备注: 27 pages, 12 figures

💡 一句话要点

提出PathMMU以解决病理学领域缺乏高质量基准的问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态模型 病理学 基准测试 专家验证 问答生成 图像处理 模型评估

📋 核心要点

  1. 现有的多模态模型在病理学领域缺乏高质量的基准，限制了其评估和发展。
  2. PathMMU通过结合专家验证和多模态问答生成，提供了一个全面的病理学基准。
  3. 实验表明，尽管顶尖模型在PathMMU上表现不佳，但经过微调的模型仍有提升空间。

📝 摘要（中文）

随着大型多模态模型的出现，人工智能在病理学领域展现出巨大的潜力。然而，缺乏专门的高质量基准限制了其发展和评估。为此，我们推出了PathMMU，这是针对大型多模态模型的最大且最高质量的专家验证病理基准，包含33,428个多模态多选问题和24,067张图像。PathMMU的构建利用了GPT-4V的先进能力，生成了丰富的图像说明和相应的问答。为确保PathMMU的权威性，我们邀请了七位病理学家严格审查每个问题。实验结果显示，尽管先进的多模态模型在PathMMU基准上表现不佳，但经过微调的较小开源模型仍能超越GPT-4V，尽管仍未达到病理学家的专业水平。

🔬 方法详解

问题定义：本论文旨在解决病理学领域缺乏高质量、专家验证的多模态基准的问题。现有方法无法有效评估大型多模态模型在病理学中的应用。

核心思路：PathMMU的核心思路是通过专家审查和GPT-4V的能力，构建一个包含多模态问题和图像的高质量基准，以促进模型的评估与发展。

技术框架：PathMMU的构建流程包括收集图像和说明、生成问答对、专家审查和验证。主要模块包括数据收集、问答生成和专家验证。

关键创新：PathMMU的创新在于结合了专家的严格审查和大规模的多模态数据生成，确保了基准的权威性和实用性。这与现有方法的单一数据来源和缺乏专家验证形成鲜明对比。

关键设计：在数据生成过程中，使用了超过30,000对图像-说明对，并通过GPT-4V生成相应的问答。每个问题都经过七位病理学家的审查，以确保其质量和准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，顶尖的多模态模型GPT-4V在PathMMU基准上的零-shot性能仅为49.8%，远低于病理学家71.8%的表现。经过微调后，较小的开源模型表现出色，但仍未达到专家水平，显示出PathMMU的挑战性。

🎯 应用场景

PathMMU的研究成果可广泛应用于病理学教育、模型训练和评估等领域。通过提供高质量的基准，研究人员和开发者能够更好地理解和改进多模态模型在病理学中的应用，推动下一代模型的发展。

📄 摘要（原文）

The emergence of large multimodal models has unlocked remarkable potential in AI, particularly in pathology. However, the lack of specialized, high-quality benchmark impeded their development and precise evaluation. To address this, we introduce PathMMU, the largest and highest-quality expert-validated pathology benchmark for Large Multimodal Models (LMMs). It comprises 33,428 multimodal multi-choice questions and 24,067 images from various sources, each accompanied by an explanation for the correct answer. The construction of PathMMU harnesses GPT-4V's advanced capabilities, utilizing over 30,000 image-caption pairs to enrich captions and generate corresponding Q&As in a cascading process. Significantly, to maximize PathMMU's authority, we invite seven pathologists to scrutinize each question under strict standards in PathMMU's validation and test sets, while simultaneously setting an expert-level performance benchmark for PathMMU. We conduct extensive evaluations, including zero-shot assessments of 14 open-sourced and 4 closed-sourced LMMs and their robustness to image corruption. We also fine-tune representative LMMs to assess their adaptability to PathMMU. The empirical findings indicate that advanced LMMs struggle with the challenging PathMMU benchmark, with the top-performing LMM, GPT-4V, achieving only a 49.8% zero-shot performance, significantly lower than the 71.8% demonstrated by human pathologists. After fine-tuning, significantly smaller open-sourced LMMs can outperform GPT-4V but still fall short of the expertise shown by pathologists. We hope that the PathMMU will offer valuable insights and foster the development of more specialized, next-generation LMMs for pathology.