Mr3D-VL: A generalist vision language foundation model for Multiparametric 3D Magnetic Resonance Imaging

📄 arXiv: 2608.12689v1 📥 PDF

作者: Zhi Qiao, Xintong Wu, Yichu He, Feng Shi

分类: cs.CV, cs.AI

发布日期: 2026-08-13

💡 一句话要点

提出Mr3D-VL以解决多参数3D磁共振成像的跨模态推理问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多参数磁共振成像 视觉-语言模型 跨模态推理 3D编码器 医学图像分析 自然语言处理 深度学习

📋 核心要点

  1. 现有AI模型在mpMRI的自然语言交互和可解释性方面存在不足，限制了临床应用。
  2. Mr3D-VL通过引入共享3D编码器和4D位置嵌入，解决了多模态空间整合的问题。
  3. 实验表明，Mr3D-VL在文本生成任务中取得了BERTScore 0.856，问答准确率为0.713，多项选择准确率为0.912，显著优于现有模型。

📝 摘要（中文）

多参数磁共振成像（mpMRI）是脑肿瘤诊断和治疗的基础，但现有AI模型在自然语言交互和可解释性方面存在重大局限，影响了空间信息的整合和跨模态推理。现有方法主要集中在2D图像建模，忽视了3D体积空间的直接感知。为此，本文提出了Mr3D-VL，一个专为多参数3D MRI设计的视觉-语言基础模型，具有40亿参数，采用无监督预训练的共享3D编码器和4D旋转位置嵌入，增强了双模态空间整合。实验结果显示，该模型在文本生成任务上显著优于现有的领域特定和通用模型。

🔬 方法详解

问题定义：本文旨在解决多参数3D磁共振成像（mpMRI）中，现有AI模型在自然语言交互和可解释性方面的不足，导致空间信息整合和跨模态推理的困难。现有方法主要集中在2D图像建模，缺乏对3D体积空间的直接感知，无法满足mpMRI的临床需求。

核心思路：论文提出的Mr3D-VL模型通过引入共享3D编码器和4D旋转位置嵌入，实现了多模态空间的有效整合，增强了对不同成像模态的理解和推理能力。这种设计旨在克服现有模型在处理复杂多特征任务时的局限性。

技术框架：Mr3D-VL的整体架构包括一个无监督预训练的共享3D编码器、4D旋转位置嵌入和跨模态投影层。跨模态投影层采用多分辨率特征植入策略，以提升不同分辨率下的特征感知能力。

关键创新：Mr3D-VL的最重要创新在于其专为mpMRI设计的视觉-语言基础模型，结合了3D编码和多模态特征整合，显著提升了对复杂医学图像的理解能力。这与现有的2D图像模型形成了本质区别。

关键设计：模型的关键设计包括4亿个参数的共享3D编码器，4D位置嵌入的实现，以及跨模态投影层的多分辨率特征植入策略。这些设计确保了模型在处理mpMRI时的高效性和准确性。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果显示，Mr3D-VL在文本生成任务中取得了BERTScore 0.856，问答准确率为0.713，多项选择准确率为0.912，显著优于现有的4B、7B和30B领域特定及通用模型，展示了其在mpMRI应用中的优越性能。

🎯 应用场景

该研究的潜在应用领域包括脑肿瘤的诊断、治疗规划和术后评估。通过提高mpMRI的解读能力，Mr3D-VL能够为临床医生提供更准确的决策支持，提升患者的治疗效果。未来，该模型也可能扩展到其他医学成像领域，推动多模态医学图像分析的发展。

📄 摘要（原文）

Multi-parametric magnetic resonance imaging (mpMRI) is a cornerstone for brain tumor diagnosis and treatment, yet current AI models face critical limitations: their lack of natural language interaction and interpretability impedes spatial information integration and cross-modal reasoning required clinically. Key challenges arise from significant physical meaning differences across modalities, spatial misalignment due to scan intervals, and the need for complex multi-feature interpretation in tasks like glioma grading. While visual-language models (VLMs) show promise in cross-modal understanding, existing methods focus mainly on 2D image modeling, neglecting direct perception of 3D volumetric space. Although 3D VLMs have been proposed for report generation and feature alignment in 3D CT imaging, mpMRI applications demand collaborative inference across multiple imaging modalities-a requirement unmet by current solutions. To address this, we introduce Mr3D-VL, a dedicated visual-language foundation model for multi-parametric 3D MRI. With 4 billion parameters, it employs an unsupervised pre-trained shared 3D encoder and 4D rotational positional embedding for dual modality-spatial integration. Its cross-modal projection layer uses a multi-resolution feature implantation strategy to enhance feature perception across resolutions. Experimental results show significant improvements over existing 4B/7B/30B domain-specific and general-purpose models in text generation tasks, achieving a BERTScore of 0.856 for report generation, with question-answering accuracy at 0.713 and multiple-choice accuracy at 0.912.