MedThink: Explaining Medical Visual Question Answering via Multimodal Decision-Making Rationale

📄 arXiv: 2404.12372v2 📥 PDF

作者: Xiaotang Gai, Chenyi Zhou, Jiaxiang Liu, Yang Feng, Jian Wu, Zuozhu Liu

分类: cs.CV

发布日期: 2024-04-18 (更新: 2024-10-07)

💡 一句话要点

提出MedThink以解决医学视觉问答模型可解释性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 医学视觉问答 模型可解释性 多模态学习 决策推理 数据集构建 深度学习 医疗人工智能

📋 核心要点

  1. 现有医学视觉问答模型的可解释性不足，导致决策过程难以理解，影响临床应用。
  2. 本文提出MedThink框架，通过引入医学决策推理，提升模型的可解释性和准确性。
  3. 实验结果表明，MedThink在多个数据集上取得了显著的性能提升，超越了现有最先进模型。

📝 摘要（中文）

医学视觉问答（MedVQA）通过语言回答基于图像的医学问题，帮助医疗专家快速解读医学图像，从而实现更快更准确的诊断。然而，现有MedVQA解决方案的可解释性和透明度有限，难以理解其决策过程。为此，本文提出了一种半自动化注释过程，构建了新的基准MedVQA数据集R-RAD、R-SLAKE和R-Path。这些数据集提供了由多模态大型语言模型和人工注释生成的中间医学决策推理，结合现有MedVQA数据集的问答对。此外，设计了新框架MedThink，通过结合医学决策推理来微调轻量级预训练生成模型。实验结果显示，MedThink在R-RAD、R-SLAKE和R-Path上分别达到了83.5%、86.3%和87.2%的准确率，显著超越了现有同类模型的表现。

🔬 方法详解

问题定义：本文旨在解决医学视觉问答模型的可解释性问题，现有方法在决策过程的透明度上存在不足，影响了临床应用的信任度。

核心思路：通过构建新的数据集并引入医学决策推理，MedThink框架能够清晰展示模型的推理过程，从而提高可解释性。

技术框架：MedThink框架包括数据准备、模型微调和推理三个主要模块。数据准备阶段使用半自动化注释生成新的基准数据集，模型微调阶段结合医学决策推理进行训练，推理阶段生成决策结果和相应的推理过程。

关键创新：最重要的创新在于引入了医学决策推理作为模型训练的辅助信息，显著提升了模型的可解释性和准确性。这一设计与现有方法的本质区别在于强调了推理过程的透明性。

关键设计：在模型微调过程中，采用了轻量级的预训练生成模型，并设计了适应医学领域的损失函数，以确保模型在生成决策时能够结合医学知识。

📊 实验亮点

实验结果显示，MedThink在R-RAD、R-SLAKE和R-Path数据集上的准确率分别达到了83.5%、86.3%和87.2%，显著超越了现有同类模型，提升幅度明显，验证了模型在医学视觉问答任务中的有效性。

🎯 应用场景

该研究在医学影像分析、临床辅助诊断等领域具有广泛的应用潜力。通过提高医学视觉问答模型的可解释性，能够帮助医生更好地理解模型的决策过程，从而在实际诊断中增强信任度和使用效果。未来，该技术可能推动智能医疗的发展，提升医疗服务的效率和准确性。

📄 摘要（原文）

Medical Visual Question Answering (MedVQA), which offers language responses to image-based medical inquiries, represents a challenging task and significant advancement in healthcare. It assists medical experts to swiftly interpret medical images, thereby enabling faster and more accurate diagnoses. However, the model interpretability and transparency of existing MedVQA solutions are often limited, posing challenges in understanding their decision-making processes. To address this issue, we devise a semi-automated annotation process to streamline data preparation and build new benchmark MedVQA datasets R-RAD, R-SLAKE and R-Path. These datasets provide intermediate medical decision-making rationales generated by multimodal large language models and human annotations for question-answering pairs in existing MedVQA datasets, i.e., VQA-RAD, SLAKE and PathVQA. Moreover, we design a novel framework, MedThink, which finetunes lightweight pretrained generative models by incorporating medical decision-making rationales. MedThink includes three distinct strategies to generate decision outcomes and corresponding rationales, thereby clearly showcasing the medical decision-making process during reasoning. Our comprehensive experiments show that our method achieves an accuracy of 83.5% on R-RAD, 86.3% on R-SLAKE and 87.2% on R-Path. These results significantly exceed those of existing state-of-the-art models with comparable parameters. Datasets and code will be released.