Modeling Local, Global, and Cross-Modal Context in Multimodal 3D MRI

📄 arXiv: 2606.26894v1 📥 PDF

作者: Minh Duc Do, Tillmann Rheude, Noel Kronenberg, Roland Eils, Benjamin Wild

分类: cs.CV

发布日期: 2026-06-25

💡 一句话要点

提出MICViT以解决多模态3D脑MRI的特征融合问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态MRI 视觉变换器 特征融合 脑龄预测 神经影像学 深度学习 注意力机制

📋 核心要点

  1. 现有方法在处理多模态脑MRI时，难以有效整合不同模态的信息，导致模型性能受限。
  2. 本文提出MICViT，通过显式建模模态特定表示和跨模态交互，利用四种注意力机制提升特征学习效果。
  3. 在三个异质数据集上进行的实验表明，MICViT在脑龄预测任务中持续超越现有的CNN和变换器基线，特别是在多模态输入下表现更佳。

📝 摘要（中文）

脑部MRI为机器学习带来了根本性挑战：模型必须从高维3D数据中学习，尽管神经影像学研究的样本量通常有限。多模态成像提供了临床解读所需的互补信息，但有效整合这些信号仍然困难。本文提出了多模态内部与跨模态上下文视觉变换器（MICViT），该模型显式建模了模态特定表示和局部与全局上下文之间的跨模态交互。MICViT结合了四种注意力机制，评估结果显示其在脑龄预测任务中优于现有的CNN和变换器基线，特别是在多模态输入下表现出更大的性能提升。

🔬 方法详解

问题定义：本文旨在解决多模态3D脑MRI数据中模态信息整合不足的问题。现有方法在样本量有限的情况下，难以充分利用多模态成像的互补信息，导致模型性能不佳。

核心思路：论文提出的MICViT通过显式建模模态特定表示和局部与全局上下文之间的跨模态交互，利用四种不同的注意力机制来提升特征学习的效果。这样的设计能够更好地捕捉模态间的相互作用，进而提高模型的预测能力。

技术框架：MICViT的整体架构包括四种注意力机制：模态特定的局部和全局注意力用于内部特征学习，以及跨模态的局部和全局注意力用于捕捉模态间的交互。该框架能够有效整合不同模态的信息。

关键创新：MICViT的主要创新在于其显式建模的能力，能够同时处理模态特定和跨模态的上下文信息。这与传统的单一模态处理方法有本质区别，后者往往无法充分利用多模态数据的互补性。

关键设计：在模型设计中，MICViT采用了多层次的注意力机制，确保了不同模态特征的有效融合。此外，损失函数的设计也考虑了多模态输入的特性，以优化模型的学习过程。具体的参数设置和网络结构细节在实验部分进行了详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在脑龄预测任务中，MICViT在三个异质数据集（UK Biobank、SOOP、Cam-CAN）上表现优异，样本量分别为41,404、1,062和613。与现有的CNN和变换器基线相比，MICViT在多模态输入下获得了显著的性能提升，证明了其在多模态脑MRI分析中的有效性。

🎯 应用场景

该研究的潜在应用领域包括临床脑部疾病的诊断与预测，尤其是在利用多模态MRI数据进行个性化医疗时。MICViT的设计理念和方法可以为未来的神经影像学研究提供新的思路，推动相关领域的发展。

📄 摘要（原文）

Brain MRI poses a fundamental challenge for machine learning: models must learn from high-dimensional 3D data spanning multiple co-registered modalities, despite the limited sample sizes typical of neuroimaging studies relative to the diversity in anatomy, pathology, and acquisition conditions. While multimodal imaging provides complementary information critical for clinical interpretation, effectively integrating these signals remains difficult. We propose Multimodal Intra- and Cross-Context Vision Transformer (MICViT), a 3D vision transformer that explicitly models both modality-specific representations and cross-modal interactions across local and global contexts. Concretely, MICViT combines four attention mechanisms: modality-specific local and global attention for intra-modal feature learning, and cross-modal local and global attention to capture interactions between modalities. We evaluate MICViT on brain age prediction across three heterogeneous datasets (UK Biobank, n=41,404; SOOP, n=1,062; Cam-CAN, n=613) using multiple MRI modalities (e.g. T1, FLAIR, DWI, SWI). MICViT consistently outperforms state-of-the-art CNN and transformer baselines in 3D settings. Notably, it benefits more strongly from multimodal inputs, yielding larger performance gains as additional modalities are incorporated. These results demonstrate that explicitly modeling intra- and cross-modal interactions is key to unlocking the full potential of multimodal brain MRI, highlighting a promising direction for representation learning in neuroimaging.