MedBench v5: A Dynamic, Process-Oriented, and Hallucination-Aware Benchmark for Clinical Multimodal Models

📄 arXiv: 2606.24155v1 📥 PDF

作者: Ding Jinru, Jiang Chuchu, Lu Lu, Pang Wenrao, Bian Mouxiao, Gao Zhuangzhi, Chen Jiangyuan, Peng xinwei, Chen Ruiyao, Ren Sijie, Lu Renjie, Han Bin, Liu Meiling, and Xu Jie

分类: cs.CL

发布日期: 2026-06-23

💡 一句话要点

提出MedBench v5以解决临床多模态模型评估中的动态性与幻觉检测问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 临床多模态模型 动态评估 幻觉检测 过程审计 医疗AI基准

📋 核心要点

  1. 现有医疗AI基准缺乏动态评估和幻觉检测，导致模型在实际应用中的可靠性不足。
  2. MedBench v5通过引入双维框架和动态过程审计，提供了更全面的评估方法，涵盖多种临床任务。
  3. 实验结果显示，尽管模型在任务表现上强劲，但在过程稳定性上存在显著问题，尤其是在矛盾检测和幻觉传播方面。

📝 摘要（中文）

现有的医疗AI基准缺乏过程可视化、原子技能评估和综合幻觉检测。我们引入MedBench v5，这是一个重新设计的临床多模态模型基准，采用动态、过程导向的评估方法。MedBench v5具有双维框架，结合临床认知响应和医疗原子技能，涵盖63项任务，并引入信息流压力源和动态过程审计协议，监测幻觉传播。实验表明，强大的整体任务表现并不保证过程稳定，主要影响矛盾检测、诊断更新和幻觉传播等环节。MedBench v5为临床AI评估提供了统一的能力分析、压力测试、过程审计和幻觉轨迹分析基础设施。

🔬 方法详解

问题定义：论文旨在解决现有医疗AI基准在动态性、过程可视化和幻觉检测方面的不足，现有方法往往无法有效评估模型在实际应用中的表现和稳定性。

核心思路：MedBench v5的核心思路是通过动态、过程导向的评估框架，结合临床认知响应和医疗原子技能，提供更全面的模型评估，确保在不同情境下的可靠性。

技术框架：整体架构包括双维框架，涵盖14个临床认知响应子维度和4个医疗原子技能环境，支持63项任务的评估。同时，设计了动态过程审计协议，包含五个推理节点，监测模型的失败指纹。

关键创新：最重要的技术创新在于引入了信息流压力源（如遗漏、矛盾和证据延迟）以及幻觉传播监测机制，能够有效分析模型在不同情境下的表现和稳定性。

关键设计：在参数设置上，MedBench v5采用了多种信息流压力源，设计了动态过程审计协议，并通过五个推理节点进行模型评估，确保能够捕捉到模型在实际应用中的潜在问题。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，尽管模型在整体任务表现上强劲，但在过程稳定性方面存在显著问题，尤其是在矛盾检测和幻觉传播的环节。具体而言，信息流压力源主要影响了模型的矛盾检测和自我修正能力，显示出MedBench v5在评估过程中的重要性。

🎯 应用场景

该研究的潜在应用领域包括医疗诊断、临床决策支持和医疗机器人等。通过提供更可靠的评估基准，MedBench v5能够帮助研究人员和开发者优化临床AI模型，提高其在实际应用中的稳定性和可靠性，最终提升医疗服务质量。

📄 摘要（原文）

Existing medical AI benchmarks lack process visibility, atomic skill evaluation, and integrated hallucination detection. We introduce MedBench v5, a redesigned benchmark for clinical multimodal models (language, vision-language, and agent systems) that moves from static QA to dynamic, process-oriented evaluation. MedBench v5 features: (1) a dual-dimensional framework combining Clinical Cognitive Responsiveness (14 sub-dimensions) and Medical Atomic Skills (4 agent environments), covering 63 tasks; (2) three switchable information-flow stressors (omission, contradiction, evidence delay) for factorized degradation analysis; (3) a dynamic process audit protocol with five reasoning nodes that produces model-specific failure fingerprints; (4) hallucination propagation monitoring across initiation, propagation, anchoring, and contradiction interaction-capturing silent hallucination. Experiments on frontier models show that strong overall task performance does not guarantee process stability: stressors mainly disrupt contradiction detection, diagnosis updating, hallucination propagation, and contradiction-based self-correction, while final evidence grounding can remain superficially stable. MedBench v5 provides a unified infrastructure for capability profiling, controllable stress testing, process auditing, and hallucination trajectory analysis in clinical AI evaluation.