A Source-Grounded Framework for Constructing and Evaluating Progressive Multimodal Diagnostic Dialogues from Clinical Case Reports
作者: Yufan Wang, Rui Yang, Yi Liu, Yi Lin, Yifan Peng
分类: cs.CL
发布日期: 2026-08-24
备注: Accepted to IEEE HealthCom 2026, Distinguished Invited Papers Track
💡 一句话要点
提出源基础框架以构建和评估渐进式多模态诊断对话
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态诊断 临床推理 病例报告 对话生成 评估策略 医学人工智能 推理质量 源基础框架
📋 核心要点
- 现有的多模态医学基准主要评估固定输入或最终答案，缺乏对动态交互过程的考量。
- 本文提出了一种源基础框架，旨在从病例报告中构建渐进式多模态诊断对话，强调证据选择与解释的分离。
- 在24个内科病例报告上的实验结果显示，所提框架在诊断和推理质量上均表现优异，显著优于现有模型。
📝 摘要（中文）
临床诊断需要逐步整合患者历史、体检、实验室结果、医学影像和诊断性测试。然而，大多数多模态医学基准评估固定输入或最终答案，而完全交互的诊断代理则将证据选择与证据解释混为一谈。本文提出了一种源基础框架，用于从病例报告构建渐进式多模态诊断对话，并提出了一种评估策略，以评估多模态语言模型在最终诊断、诊断推理和影像结果解释方面的表现。在24个内科病例报告上的评估显示，该框架能够准确地将病例报告转换为参考对话，诊断F1得分为0.99，推理质量得分为4.79（满分5分）。对两个前沿多模态语言模型（o4-mini和Claude Haiku 4.5）的评估显示，推理质量得分分别为2.75和2.50，诊断、推理和影像结果F1得分显著较低。结果表明，流畅的响应不一定反映基于证据的临床推理，突显了所提出框架在评估多模态诊断推理中的实用性。
🔬 方法详解
问题定义：本文旨在解决现有多模态医学基准在评估动态交互诊断过程中的不足，尤其是证据选择与解释的混淆问题。
核心思路：提出源基础框架，通过将病例报告转化为渐进式对话，明确区分证据的选择与推理过程，以提高诊断的准确性和推理的质量。
技术框架：整体架构包括数据预处理、对话生成和评估模块。首先对病例报告进行解析，然后生成多轮对话，最后通过评估策略对生成的对话进行质量评估。
关键创新：最重要的创新在于提出了源基础框架，使得多模态诊断对话的构建与评估更加系统化，解决了传统方法中证据选择与解释混淆的问题。
关键设计：在模型设计中，采用了特定的损失函数来优化对话生成的质量，并通过多轮交互设计增强模型的推理能力。
🖼️ 关键图片
📊 实验亮点
实验结果显示，所提框架在24个内科病例报告中实现了0.99的诊断F1得分和4.79的推理质量得分，显著高于对比模型o4-mini和Claude Haiku 4.5的推理质量得分（分别为2.75和2.50），表明该框架在多模态诊断推理中的有效性。
🎯 应用场景
该研究具有广泛的应用潜力，特别是在临床决策支持系统中，可以帮助医生更有效地进行诊断，提高诊断的准确性和效率。此外，该框架也可用于医学教育，帮助学生理解复杂的临床推理过程。
📄 摘要（原文）
Clinical diagnosis requires progressive integration of patient history, physical examination, laboratory findings, medical images, and diagnostic-informative tests. However, most multimodal medical benchmarks evaluate fixed inputs or endpoint answers, while fully interactive diagnostic agents conflate evidence selection with evidence interpretation. We present a source-grounded framework to construct progressive multimodal diagnostic dialogues from case reports and an evaluation strategy for assessing MLLMs on final diagnosis, diagnostic reasoning, and image-finding interpretation. Evaluation on 24 internal medicine case reports showed that our framework can accurately convert case reports into reference dialogues, achieving a diagnosis F1 of 0.99 and a reasoning-quality score of 4.79 out of 5. Evaluation on two frontier MLLMs (o4-mini and Claude Haiku 4.5) achieved reasoning-quality scores of 2.75 and 2.50, respectively, with substantially lower diagnosis, reasoning, and image-finding F1 scores. The results demonstrate that fluent responses do not necessarily reflect evidence-grounded clinical reasoning and highlight the utility of the proposed framework for evaluating multimodal diagnostic reasoning.