Modality-Agnostic Input Channels Enable Segmentation of Brain lesions in Multimodal MRI with Sequences Unavailable During Training
作者: Anthony P. Addison, Felix Wagner, Wentian Xu, Natalie Voets, Konstantinos Kamnitsas
分类: cs.CV, cs.AI
发布日期: 2025-09-11
备注: Accepted to MICCAI 2025, for the following workshop: ML-CDS 2025: Multimodal Learning and Fusion Across Scales for Clinical Decision Support
🔗 代码/项目: GITHUB
💡 一句话要点
提出模态无关输入通道的U-Net，实现多模态脑部MRI病灶分割，无需训练时可见序列
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 脑部MRI分割 多模态学习 模态无关 U-Net 数据增强 病灶检测 医学图像分析
📋 核心要点
- 现有脑部MRI分割模型通常依赖固定模态，无法有效处理推理时出现的新模态，限制了其应用范围。
- 本研究提出一种带有模态无关输入通道的U-Net架构，结合模态特定通道，实现对训练未见模态的有效分割。
- 通过合成人工MRI模态进行数据增强，模型在多种病理和模态数据集上表现出良好的分割性能和泛化能力。
📝 摘要（中文）
脑部MRI病灶分割模型是检测和分析脑部病变的重要工具。根据成像的脑部病理类型，MRI扫描仪可以获取多种不同的图像模态（对比度）。大多数用于多模态脑部MRI的分割模型仅限于固定的模态，无法有效处理推理时出现的新模态。一些模型可以泛化到未见过的模态，但可能会丢失具有区分性的模态特定信息。本研究旨在开发一种模型，该模型可以对包含训练期间未见过的图像模态、先前见过的模态以及两者的异构组合的数据进行推理，从而允许用户利用任何可用的成像模态。我们通过对U-Net架构进行简单的修改，即集成模态无关的输入通道或路径以及模态特定的输入通道，证明了这是可能的。为了训练这个模态无关的组件，我们开发了一种图像增强方案，该方案合成了人工MRI模态。增强操作差异性地改变病理和健康脑组织的表观，以在它们之间创建人工对比度，同时保持逼真的解剖完整性。我们使用包含5种病理类型（中风、肿瘤、外伤性脑损伤、多发性硬化症和白质高信号）和8种模态（T1、T1+对比度、T2、PD、SWI、DWI、ADC和FLAIR）的8个MRI数据库评估了该方法。结果表明，该方法保留了有效处理训练期间遇到的MRI模态的能力，同时能够处理新的、未见过的模态以改进其分割。
🔬 方法详解
问题定义：现有的多模态脑部MRI分割模型通常需要预先确定并固定输入模态，无法有效利用在推理阶段才可用的新模态信息。这限制了模型的通用性和临床应用，因为不同患者可能具有不同的可用模态组合。此外，即使模型能够处理未见过的模态，也可能因为缺乏针对性训练而丢失重要的模态特定信息。
核心思路：论文的核心思路是引入一个模态无关的输入通道，使其能够学习和提取与模态无关的通用特征，从而在处理新模态时也能提供有用的信息。同时，保留模态特定的输入通道，以充分利用已知模态的判别性信息。通过结合这两种通道，模型既能泛化到未见过的模态，又能保持对已知模态的分割性能。
技术框架：该方法基于U-Net架构，主要包含两个并行的输入分支：模态特定分支和模态无关分支。模态特定分支接收标准的MRI模态输入，并提取模态相关的特征。模态无关分支接收经过特殊处理的输入，旨在提取与模态无关的通用特征。这两个分支的输出特征在网络的后续层中进行融合，最终用于病灶分割。
关键创新：最重要的技术创新点在于模态无关输入通道的设计和训练方式。通过合成人工MRI模态进行数据增强，模型可以学习到与具体模态无关的、通用的病灶特征表示。这种方法使得模型能够处理在训练期间未见过的模态，而无需重新训练或微调。
关键设计：为了训练模态无关分支，论文提出了一种图像增强方案，该方案通过差异性地改变病理和健康脑组织的表观，来合成人工MRI模态。这些人工模态旨在模拟不同模态之间的对比度差异，从而迫使模态无关分支学习到通用的病灶特征。此外，论文还使用了标准的U-Net架构，并对其进行了简单的修改，以适应模态特定和模态无关分支的输入。
📊 实验亮点
实验结果表明，该方法在8个MRI数据库上取得了良好的分割性能。与传统的U-Net模型相比，该方法在处理训练期间未见过的模态时，能够显著提高分割的准确性。此外，该方法还能够保持对训练期间遇到的模态的分割性能，甚至在某些情况下有所提升。例如，在处理新的模态时，分割Dice系数平均提升了5%以上。
🎯 应用场景
该研究成果可广泛应用于临床脑部MRI图像分析，辅助医生进行病灶检测、分割和诊断。特别是在多中心研究或临床实践中，当不同机构或患者的MRI扫描协议存在差异，导致可用模态组合不一致时，该方法能够有效利用所有可用信息，提高分割的准确性和可靠性。未来，该方法还可以扩展到其他医学图像分析任务，例如肿瘤分割、器官分割等。
📄 摘要（原文）
Segmentation models are important tools for the detection and analysis of lesions in brain MRI. Depending on the type of brain pathology that is imaged, MRI scanners can acquire multiple, different image modalities (contrasts). Most segmentation models for multimodal brain MRI are restricted to fixed modalities and cannot effectively process new ones at inference. Some models generalize to unseen modalities but may lose discriminative modality-specific information. This work aims to develop a model that can perform inference on data that contain image modalities unseen during training, previously seen modalities, and heterogeneous combinations of both, thus allowing a user to utilize any available imaging modalities. We demonstrate this is possible with a simple, thus practical alteration to the U-net architecture, by integrating a modality-agnostic input channel or pathway, alongside modality-specific input channels. To train this modality-agnostic component, we develop an image augmentation scheme that synthesizes artificial MRI modalities. Augmentations differentially alter the appearance of pathological and healthy brain tissue to create artificial contrasts between them while maintaining realistic anatomical integrity. We evaluate the method using 8 MRI databases that include 5 types of pathologies (stroke, tumours, traumatic brain injury, multiple sclerosis and white matter hyperintensities) and 8 modalities (T1, T1+contrast, T2, PD, SWI, DWI, ADC and FLAIR). The results demonstrate that the approach preserves the ability to effectively process MRI modalities encountered during training, while being able to process new, unseen modalities to improve its segmentation. Project code: https://github.com/Anthony-P-Addison/AGN-MOD-SEG