Federated Modality-specific Encoders and Multimodal Anchors for Personalized Brain Tumor Segmentation

📄 arXiv: 2403.11803v1 📥 PDF

作者: Qian Dai, Dong Wei, Hong Liu, Jinghan Sun, Liansheng Wang, Yefeng Zheng

分类: cs.CV

发布日期: 2024-03-18

备注: Accepted by AAAI 2024

💡 一句话要点

提出FedMEMA框架以解决多模态医学图像分割中的异质性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 联邦学习 多模态医学图像 脑肿瘤分割 个性化模型 模态特定编码器 跨模态异质性 深度学习

📋 核心要点

  1. 现有的联邦学习方法仅考虑模态内部异质性，无法有效处理多模态医学图像分析中的跨模态异质性问题。
  2. 提出FedMEMA框架，通过模态特定编码器和个性化解码器来同时解决跨模态异质性和个性化模型需求。
  3. 在BraTS 2020基准测试中，FedMEMA的表现优于多种最新方法，验证了其设计的有效性和实用性。

📝 摘要（中文）

现有的联邦学习方法在医学图像分析中主要考虑了模态内部的异质性，限制了其在多模态成像应用中的适用性。实际中，部分参与者可能仅拥有完整成像模态的子集，这使得跨模态异质性成为有效训练全球模型的挑战。此外，每个参与者希望从联邦学习中获得一个针对其本地数据特征的个性化模型。本文提出了一种新的联邦学习框架FedMEMA，采用模态特定编码器和多模态锚点，旨在同时解决这两个问题。FedMEMA通过为每种模态使用独特的编码器来处理跨模态异质性，同时共享编码器而个性化解码器，以满足个体需求。实验结果表明，FedMEMA在BraTS 2020基准测试中表现优于多种最新方法，验证了其设计的有效性。

🔬 方法详解

问题定义：本文要解决的具体问题是如何在多模态医学图像分析中有效处理跨模态异质性，同时满足参与者对个性化模型的需求。现有方法主要集中在模态内部的异质性，难以应对参与者数据的不完整性。

核心思路：论文提出的核心解决思路是构建一个包含模态特定编码器和个性化解码器的联邦学习框架FedMEMA。通过为每种模态设计独立的编码器，能够更好地处理模态间的异质性，同时通过个性化解码器满足不同参与者的需求。

技术框架：FedMEMA的整体架构包括模态特定编码器、共享的全模态融合解码器和个性化解码器。服务器端使用融合解码器聚合来自不同模态编码器的表示，并通过反向传播优化编码器。客户端则根据全模态锚点调整缺失模态的表示。

关键创新：FedMEMA的主要创新在于同时引入模态特定编码器和个性化解码器，解决了跨模态异质性和个性化需求的双重挑战。这种设计与传统方法的本质区别在于其能够有效整合不同模态的信息。

关键设计：在技术细节上，FedMEMA采用了缩放点积交叉注意力机制来校准缺失模态的表示，并通过多模态表示的融合来优化编码器。此外，设计了适应不同参与者数据特征的个性化解码器，以提高模型的适应性和准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在BraTS 2020基准测试中，FedMEMA的性能显著优于多种最新的多模态和个性化联邦学习方法，具体表现为在分割精度上提升了X%（具体数据待补充），验证了其设计的有效性和实用性。

🎯 应用场景

该研究的潜在应用领域包括医学图像分析、脑肿瘤分割等。通过有效处理多模态数据的异质性，FedMEMA能够为不同医疗机构提供个性化的模型，提升临床决策支持的准确性和效率。未来，该方法有望在更广泛的医学成像任务中推广应用，推动个性化医疗的发展。

📄 摘要（原文）

Most existing federated learning (FL) methods for medical image analysis only considered intramodal heterogeneity, limiting their applicability to multimodal imaging applications. In practice, it is not uncommon that some FL participants only possess a subset of the complete imaging modalities, posing inter-modal heterogeneity as a challenge to effectively training a global model on all participants' data. In addition, each participant would expect to obtain a personalized model tailored for its local data characteristics from the FL in such a scenario. In this work, we propose a new FL framework with federated modality-specific encoders and multimodal anchors (FedMEMA) to simultaneously address the two concurrent issues. Above all, FedMEMA employs an exclusive encoder for each modality to account for the inter-modal heterogeneity in the first place. In the meantime, while the encoders are shared by the participants, the decoders are personalized to meet individual needs. Specifically, a server with full-modal data employs a fusion decoder to aggregate and fuse representations from all modality-specific encoders, thus bridging the modalities to optimize the encoders via backpropagation reversely. Meanwhile, multiple anchors are extracted from the fused multimodal representations and distributed to the clients in addition to the encoder parameters. On the other end, the clients with incomplete modalities calibrate their missing-modal representations toward the global full-modal anchors via scaled dot-product cross-attention, making up the information loss due to absent modalities while adapting the representations of present ones. FedMEMA is validated on the BraTS 2020 benchmark for multimodal brain tumor segmentation. Results show that it outperforms various up-to-date methods for multimodal and personalized FL and that its novel designs are effective. Our code is available.