BrainDiff: Longitudinal Report Generation for Multimodal Brain MRI

📄 arXiv: 2609.00593v1 📥 PDF

作者: Krish Patel, Peirong Liu

分类: cs.CV

发布日期: 2026-09-01

🔗 代码/项目: GITHUB

💡 一句话要点

提出BrainDiff以解决多模态脑MRI的纵向报告生成问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 脑MRI 纵向报告 多模态系统 视觉-语言模型 神经影像学 图像依赖性 反事实学习

📋 核心要点

  1. 现有的脑MRI报告生成方法主要集中于单一研究，缺乏对纵向变化的分析，导致对细微变化的捕捉不足。
  2. 本文提出BrainDiff，结合视觉和语言模型，专注于脑MRI的纵向报告生成，提升了图像依赖性和报告准确性。
  3. 实验结果显示，BrainDiff在患者对比中表现优于现有模型，并在外部数据集上保持高达91%的F1得分，显著提升了报告生成的质量。

📝 摘要（中文）

神经放射科医生很少单独解读脑MRI，然而现有的自动脑MRI报告生成几乎完全基于单一研究。尽管在胸部影像学中探索了时间分析，但脑MRI的纵向报告仍未得到解决。本文提出了BrainDiff，这是首个针对脑MRI的纵向视觉-语言系统。BrainDiff在同一患者对比中超越了现有的通用和单一研究神经影像模型，并在外部跨医院队列中保持了91%的RadGraph-XL实体+关系F1得分。我们还贡献了三项分析，揭示了独立的基础支撑杠杆、视觉贡献以及变化可解码性测试的结果。

🔬 方法详解

问题定义：本文旨在解决脑MRI纵向报告生成中的挑战，现有方法多集中于单一时间点的分析，无法有效捕捉时间间隔内的细微变化。

核心思路：论文提出BrainDiff系统，通过结合视觉和语言模型，利用历史报告和图像信息生成更准确的纵向报告，增强了对图像的依赖性。

技术框架：BrainDiff的整体架构包括图像处理模块、语言生成模块和交互学习模块，采用分阶段的课程学习策略和反事实目标来提升模型性能。

关键创新：最重要的创新点在于引入了反事实目标和历史报告的丢弃机制，显著提高了图像依赖性，提升幅度达到2.5倍。

关键设计：在模型设计中，采用了特定的损失函数来平衡图像和文本的贡献，并通过实验验证了不同参数设置对模型性能的影响。具体的RadGraph-XL实体+关系F1得分为91%。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，BrainDiff在同一患者对比中超越了现有的通用和单一研究神经影像模型，保持91%的RadGraph-XL实体+关系F1得分，且图像依赖性提升了2.5倍，显示出显著的性能改进。

🎯 应用场景

BrainDiff的研究成果可广泛应用于医学影像分析领域，特别是在神经放射学中，帮助医生更好地理解脑部疾病的进展和变化。未来，该系统有潜力与临床工作流程结合，提高诊断效率和准确性。

📄 摘要（原文）

Neuroradiologists rarely read a brain MRI in isolation, yet automated brain-MRI report generation has been built almost entirely for single studies. Temporal analysis has been explored on chest radiography and chest CT, but to our knowledge, longitudinal reporting for brain MRI, where interval change is often subtle and spatially distributed, remains unaddressed. We present BrainDiff, the first longitudinal vision-language system for brain MRI. BrainDiff outperforms both frontier general-purpose and single-study neuroimaging models on the same patient pairs. Moreover, BrainDiff retains 91% of internal RadGraph-XL entity+relation F1 (rg_er) on an external, cross-hospital cohort. Beyond the system, we contribute three analyses. First, we identify two independent grounding levers: a counterfactual objective with prior-report dropout, which increases measured image reliance by ~47%, and a staged curriculum. Together, these interventions raise image reliance 2.5-fold from the baseline. Second, we provide a factorial over prior-report availability and image identity, isolating a visual contribution of +0.0387 rg_er, which grows when the prior report is withheld. Third, a cheap change-decodability test for candidate backbones shows that interval change is decodable far more weakly than single-study pathology (0.60 vs. 0.77 AUROC). Code is publicly available at https://github.com/jhuldr/BrainDiff.