Curia-MAE: Multi-Modal Multi-Anatomy MAE Pre-Training for 3D Medical Image Segmentation

📄 arXiv: 2608.05844v2 📥 PDF

作者: Théo Danielou, Antoine Saporta, Léo Alberge, Corentin Dancette

分类: cs.CV

发布日期: 2026-08-06 (更新: 2026-08-07)

备注: Accepted at ECCV 2026 Workshop AI4M3D

🔗 代码/项目: HUGGINGFACE

💡 一句话要点

提出Curia-MAE以提升3D医学图像分割性能

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 3D医学图像分割 多模态学习 卷积MAE 特征正则化 局部-全局相似性 放射学基础模型 深度学习

📋 核心要点

  1. 现有的放射学基础模型在3D分割等密集预测任务中的评估不足，且冻结编码器的预训练模型在性能上仍落后于从头训练的nnU-Net。
  2. 本文提出Curia-MAE，通过扩展卷积MAE预训练，结合重建目标、特征正则化和局部-全局相似性目标来提升模型性能。
  3. Curia-MAE在多个解剖和病变分割基准上表现优异，尤其在标注数据稀缺的情况下，显示出显著的性能提升。

📝 摘要（中文）

放射学基础模型通过训练少量层来适应新任务，但在密集预测任务如3D分割中的评估不足。为缩小这一差距，本文扩展了卷积MAE预训练，提出了Curia-MAE模型，采用强健的重建目标、特征正则化和局部-全局相似性目标。Curia-MAE在300,000张CT和MRI图像上进行多模态、多解剖部位的预训练，并在八个解剖和病变分割基准上表现优于强基线，尤其在标注数据稀缺的病变任务中表现出色。这表明单一的冻结编码器可以在多样的分割任务中重复使用，降低了临床工作流中模型适应和部署的成本。

🔬 方法详解

问题定义：本文旨在解决现有放射学基础模型在3D医学图像分割任务中的性能不足，尤其是在冻结编码器的情况下，模型的适应性和效果不如从头训练的模型。

核心思路：通过引入强健的重建目标、特征正则化和局部-全局相似性目标，扩展卷积MAE预训练，以提高模型在多模态和多解剖部位任务中的表现。

技术框架：Curia-MAE模型的整体架构包括一个冻结的编码器和多个解码器，采用多模态输入（CT和MRI），并通过不同的损失函数进行训练，以实现更好的特征学习和重建能力。

关键创新：最重要的创新在于结合了多种目标函数，使得模型在处理不同解剖结构和病变时能够更好地捕捉特征，从而提升了分割性能。

关键设计：在模型设计中，采用了特征正则化技术以防止过拟合，同时引入了局部-全局相似性损失以增强模型对细节的捕捉能力。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

在八个解剖和病变分割基准上，Curia-MAE模型在冻结编码器的情况下表现优于强基线，尤其在病变任务中，模型的性能提升显著，显示出在标注数据稀缺时的优势。

🎯 应用场景

Curia-MAE模型在医学图像分割领域具有广泛的应用潜力，能够帮助医生更准确地识别和分割不同的解剖结构和病变。这一研究不仅提高了模型的适应性和效率，还为临床工作流中的模型部署提供了便利，降低了成本和时间消耗。

📄 摘要（原文）

Radiology foundation models learn transferable representations that can be adapted to new tasks by training only small layers on top of a frozen encoder. Dense prediction tasks such as 3D segmentation are, however, underrepresented in their evaluation, and, with the encoder kept frozen, pre-trained models still fall short of nnU-Net, the state-of-the-art reference trained from scratch. To close this gap we extend convolutional MAE pre-training with a robust reconstruction objective, a feature regularizer, and a local-global similarity objective. Using this method, we propose Curia-MAE, a multi-modal, multi-anatomy MAE model pre-trained on 300,000 CT and MRI images covering a large number of anatomical sites. On eight anatomy- and lesion-focused segmentation benchmarks, Curia-MAE improves frozen-encoder performance over a strong MAE baseline, while remaining competitive under full finetuning and superior on lesion tasks, where labeled data is scarce. These results indicate that a single frozen encoder can be reused across diverse segmentation tasks, reducing the cost of adapting and deploying such models in clinical workflows. Curia-MAE pre-trained model weights are made publicly available at https://huggingface.co/raidium/Curia-MAE.