CMRVision: A Foundation Model for Cardiac MR Image Analysis

📄 arXiv: 2609.01308v1 📥 PDF

作者: Athira J. Jacob, Puneet Sharma, Daniel Rueckert

分类: cs.CV

发布日期: 2026-09-01

备注: Accepted at MedAGI 2026 (peer-reviewed workshop at MICCAI 2026)

💡 一句话要点

提出CMRVision以解决心脏磁共振图像分析问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 心脏磁共振成像 基础模型 自监督学习 多任务学习 医学图像分析 深度学习 图像分割 分类任务

📋 核心要点

  1. 现有的心脏磁共振图像分析方法在处理多序列和多视角图像时存在性能不足的问题。
  2. 论文提出CMRVision，一个专门为心脏磁共振图像设计的基础模型，通过自监督学习进行预训练，以提高分析效果。
  3. 实验结果表明，CMRVision在多任务分割基准上表现优异，Dice分数在0.940至0.967之间，显示出显著的性能提升。

📝 摘要（中文）

心脏磁共振成像（CMR）提供了关于心脏解剖、功能和组织特征的互补信息。本文研究了针对2D CMR的基础模型预训练，提出了CMRVision，这是一个专门针对CMR的基础模型，采用DINOv3风格的自监督学习，在一个包含3600万张CMR图像的多中心、多序列数据集上进行训练。我们系统评估了特定领域预训练的架构和训练设计选择。CMRVision在多任务分割和影像分类任务上表现出色，显示出CMR特定预训练和较小的补丁尺寸能够显著提升下游性能。

🔬 方法详解

问题定义：本文旨在解决心脏磁共振图像分析中的性能不足，尤其是在多序列和多视角图像的处理上，现有方法难以有效利用这些信息。

核心思路：CMRVision通过针对心脏磁共振图像的特定预训练，结合DINOv3风格的自监督学习，旨在提升模型在下游任务中的表现，特别是在分割和分类任务上。

技术框架：整体架构包括数据预处理、模型预训练和下游任务评估三个主要阶段。预训练阶段利用多中心、多序列的CMR图像进行训练，确保模型能够学习到丰富的特征表示。

关键创新：CMRVision的主要创新在于其专门针对心脏磁共振图像的预训练策略，结合了较小的补丁尺寸和补丁级目标，显著提升了模型的下游性能，与现有的自然图像和医学图像基线相比具有本质区别。

关键设计：在训练过程中，采用了多任务学习框架，设计了适合CMR图像的损失函数，并对网络结构进行了优化，以适应心脏图像的特征提取需求。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

CMRVision在多任务分割基准上表现出色，Dice分数在左心室（LV）为0.940至0.967，心肌为0.855至0.905，右心室（RV）为0.929，左心房（LA）为0.920，右心房（RA）为0.931。在零样本分割任务中，模型在未见的LGE长轴视图上取得了平均Dice分数0.692，显示出良好的跨视图泛化能力。

🎯 应用场景

CMRVision的研究成果可广泛应用于心脏病学领域，特别是在心脏磁共振成像的自动分析、诊断支持系统和临床决策辅助工具中。其强大的性能和通用性将有助于提高心脏疾病的早期检测和治疗效果，推动个性化医疗的发展。

📄 摘要（原文）

Cardiac magnetic resonance (CMR) imaging provides complementary information on cardiac anatomy, function, and tissue characterization across multiple sequences and views. In this work, we investigate foundation model pretraining for 2D CMR and introduce CMRVision, a CMR-specific foundation model trained using DINOv3-style self-supervised learning on a multi-center, multi-sequence cohort of 36 million CMR images. We systematically evaluate architectural and training design choices for domain-specific pretraining. CMRVision is evaluated on two downstream tasks: multi-task segmentation across cine, late gadolinium enhancement (LGE), and mapping sequences, and cine view classification. Our experiments show that CMR-specific pretraining, smaller patch sizes, and patch-level objectives consistently improve downstream performance. Across a multi-task segmentation benchmark, CMRVision achieved the strongest overall performance, outperforming prior natural-image (NI), medical-image, supervised, and CMR foundation model baselines. Improvements were modest but consistent across structures and sequences, with Dice scores ranging from 0.940-0.967 for LV and 0.855-0.905 for myocardium, and reaching 0.929 for RV, 0.920 for LA, and 0.931 for RA. The largest gains were observed for myocardium segmentation in LGE and mapping images. In a zero-shot segmentation task on unseen LGE long-axis views, the model achieved an average Dice score of 0.692, demonstrating cross-view generalization. For cine view classification, CMRVision achieved the highest average accuracy (0.906), compared to prior methods reported in the literature. These results highlight the potential of CMRVision to support robust and generalizable cardiac MRI analysis across multiple sequences and views.