How Good are Foundation Models in Longitudinal MRI Disease Progression Reasoning?
作者: Wafa Al Ghallabi, Ritesh Thawkar, Sara Ghaboura, Omkar Thawakar, Numan Saeed, Dana Al Nuaimi, Ajnas Alkatheeri, Salman Khan, Fahad Shahbaz Khan
分类: cs.CV
发布日期: 2026-08-13
备注: Accepted at MICCAI 2026 (Early Accept). 11 pages, 3 figures, 2 tables
🔗 代码/项目: GITHUB
💡 一句话要点
提出时间感知多视角MRI基准以解决疾病进展推理问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: MRI解读 时间推理 多视角输入 疾病进展 临床决策 影像分析 基准构建
📋 核心要点
- 现有的视觉-语言基准无法有效处理多时间点和多视角的MRI解读，限制了临床应用。
- 论文提出了时间感知多视角MRI基准，结合多视角输入和时间推理，增强了对疾病进展的理解。
- 实验表明，尽管在空间定位上有所提升，但在时间推理和变化方向识别上仍存在不足。
📝 摘要（中文）
磁共振成像（MRI）解读对临床决策至关重要，要求放射科医生整合多视角解剖平面并精确定位时间间隔变化。然而，现有的视觉-语言基准仅限于单时间点、单视角解读，无法捕捉放射学实践所需的时间-空间推理。本文提出了时间感知多视角MRI基准，旨在统一多视角解剖输入、纵向扫描的时间推理和结构化定位指导。该基准包含3920个专家验证的问题-答案对，涵盖890名患者的3200多个纵向MRI时间点，涉及胶质母细胞瘤、神经退行性疾病、前庭神经瘤和脑转移等临床队列。实验结果显示，尽管多视角输入改善了空间定位，但在时间推理方面存在系统性失败。
🔬 方法详解
问题定义：本文旨在解决现有MRI解读方法在时间推理和多视角整合方面的不足，现有方法无法有效捕捉纵向扫描中的时间-空间变化。
核心思路：提出时间感知多视角MRI基准，通过整合多视角解剖输入和时间推理，提供结构化的定位指导，以支持临床决策。
技术框架：整体架构包括数据收集、问题设计、模型训练和评估四个主要模块。数据收集阶段涵盖了多个临床队列的纵向MRI数据，问题设计则包括开放式、多选和二元格式的问题。
关键创新：最重要的创新在于构建了一个系统化的基准，能够评估疾病进展跟踪、变化定位和时间排序，这在现有方法中是缺乏的。
关键设计：在模型训练中，采用了多视角输入以改善空间定位，同时设计了特定的损失函数以优化时间推理能力。
🖼️ 关键图片
📊 实验亮点
实验结果显示，16种视觉-语言模型在时间对齐上表现中等，但在变化方向识别和体积量化方面存在系统性失败。多视角输入虽然提升了空间定位，但对紧凑架构的时间推理产生了负面影响。
🎯 应用场景
该研究的潜在应用领域包括临床放射学、疾病监测和医疗影像分析。通过提升MRI解读的准确性和效率，能够为医生提供更可靠的决策支持，进而改善患者的治疗效果和预后。
📄 摘要（原文）
Magnetic Resonance Imaging (MRI) interpretation is fundamental to clinical decision-making, requiring radiologists to integrate multi-view anatomical planes across sequential timepoints while precisely localizing interval changes. However, existing vision-language benchmarks remain confined to single-timepoint, single-view interpretation, failing to capture the temporal-spatial reasoning essential to radiologic practice. We introduce the Time-Aware Multi-View MRI Benchmark, an evaluation framework unifying multi-view anatomical input, temporal reasoning across longitudinal scans, and structured localization guidance. The benchmark comprises 3,920 expert-verified question-answer pairs derived from 890 patients across over 3,200 longitudinal MRI timepoints, drawn from seven clinical cohorts covering glioblastoma, neurodegeneration, vestibular schwannoma, and brain metastases, in open-ended, multiple-choice, and binary formats, requiring models to identify anatomical regions of maximal change, characterize progression across sequences and views, and provide structured guidance specifying boundaries, imaging features, and confounders. Experiments across 16 vision-language models reveal moderate temporal alignment but systematic failure on change direction recognition and volumetric quantification, while multi-view inputs improve spatial localization yet degrade temporal reasoning in compact architectures. Our benchmark provides a systematic framework for evaluating progression tracking, interval change localization, and temporal ordering, which are essential for clinical deployment. Code, evaluation splits, and the dataset are available at: https://github.com/wafaAlghallabi/Time-Aware-MRI.