Curia-MAE: Multi-Modal Multi-Anatomy MAE Pre-Training for 3D Medical Image Segmentation

📄 arXiv: 2608.05844v1 📥 PDF

作者: Théo Danielou, Antoine Saporta, Léo Alberge, Corentin Dancette

分类: cs.CV

发布日期: 2026-08-06

备注: Accepted at ECCV 2026 Workshop AI4M3D

💡 一句话要点

提出Curia-MAE以提升3D医学图像分割性能

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 医学图像分割 多模态学习 卷积MAE 深度学习 特征正则化 局部-全局相似性 放射学模型

📋 核心要点

  1. 现有的放射学基础模型在密集预测任务如3D分割中的评估不足，且冻结编码器的预训练模型在性能上仍落后于从零开始训练的nnU-Net。
  2. 论文提出Curia-MAE，通过扩展卷积MAE预训练，结合稳健的重建目标、特征正则化和局部-全局相似性目标，提升模型性能。
  3. 在八个解剖和病变聚焦的分割基准上，Curia-MAE在冻结编码器性能上超越了强基线，并在全微调下保持竞争力，尤其在标注数据稀缺的病变任务中表现优异。

📝 摘要（中文）

论文提出了一种名为Curia-MAE的多模态、多解剖结构的MAE模型，旨在解决现有医学图像分割模型在密集预测任务中的不足。通过在300,000张CT和MRI图像上进行预训练，Curia-MAE在多个解剖和病变分割基准上表现出色，尤其在标注数据稀缺的病变任务中，显著提升了性能。这一方法表明，单一的冻结编码器可以在多样的分割任务中重复使用，从而降低临床工作流程中模型适配和部署的成本。

🔬 方法详解

问题定义：本论文旨在解决现有医学图像分割模型在密集预测任务中的不足，尤其是在冻结编码器的情况下，预训练模型的性能仍然低于nnU-Net等从零开始训练的模型。

核心思路：Curia-MAE通过引入稳健的重建目标、特征正则化和局部-全局相似性目标，增强了卷积MAE的预训练过程，从而提升了模型在多模态医学图像分割任务中的表现。

技术框架：Curia-MAE的整体架构包括三个主要模块：1) 稳健重建模块，负责图像重建；2) 特征正则化模块，增强特征表示；3) 局部-全局相似性模块，确保不同解剖结构间的相似性。

关键创新：论文的主要创新在于将多模态和多解剖结构的MAE预训练结合起来，提出了一种新的重建目标和相似性目标，使得模型在多样化的分割任务中表现更佳。

关键设计：在模型设计中，采用了特定的损失函数以平衡重建和正则化目标，同时在网络结构上进行了优化，以适应大规模医学图像数据的处理。具体的参数设置和网络层次结构在实验部分进行了详细描述。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

在八个解剖和病变聚焦的分割基准上，Curia-MAE在冻结编码器性能上超越了强基线，尤其在病变任务中表现优异，显示出在标注数据稀缺情况下的显著提升。这一结果表明，Curia-MAE在多样化的医学图像分割任务中具有良好的适应性和性能。

🎯 应用场景

Curia-MAE的研究成果在医学影像分析领域具有广泛的应用潜力，尤其是在需要高精度分割的临床场景中。通过降低模型适配和部署的成本，该方法能够加速医学图像处理的自动化进程，提高临床决策的效率和准确性。未来，该模型的应用可能扩展到其他医学成像技术和疾病类型的分析中。

📄 摘要（原文）

Radiology foundation models learn transferable representations that can be adapted to new tasks by training only small layers on top of a frozen encoder. Dense prediction tasks such as 3D segmentation are, however, underrepresented in their evaluation, and, with the encoder kept frozen, pre-trained models still fall short of nnU-Net, the state-of-the-art reference trained from scratch. To close this gap we extend convolutional MAE pre-training with a robust reconstruction objective, a feature regularizer, and a local-global similarity objective. Using this method, we propose Curia-MAE, a multi-modal, multi-anatomy MAE model pre-trained on 300,000 CT and MRI images covering a large number of anatomical sites. On eight anatomy- and lesion-focused segmentation benchmarks, Curia-MAE improves frozen-encoder performance over a strong MAE baseline, while remaining competitive under full finetuning and superior on lesion tasks, where labeled data is scarce. These results indicate that a single frozen encoder can be reused across diverse segmentation tasks, reducing the cost of adapting and deploying such models in clinical workflows. We will make our pre-trained model weights publicly available.