When Two Tracers Disagree: An Investigation of Multimodal Fusion for Clinical PET/CT Segmentation
作者: Jack A. Johnson, Bartłomiej W. Papież
分类: cs.CV
发布日期: 2026-08-19
备注: 10 pages (8 pages main content and 2 pages of references), 2 figures, 2 tables, accepted to MICCAI 2026 Cancer Prevention, Detection, and IntervenTion (CaPTion) Workshop
🔗 代码/项目: GITHUB
💡 一句话要点
提出多模态融合方法以改善临床PET/CT肿瘤分割
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态融合 PET/CT 肿瘤分割 深度学习 前列腺癌 图像处理 医学影像
📋 核心要点
- 现有方法在多模态融合中缺乏有效的深度学习架构，导致肿瘤分割性能不稳定。
- 论文提出了基于早期融合和中间融合的多模态图像融合策略，以提高PET/CT病灶分割的准确性。
- 实验结果显示，单一示踪剂模型的表现优于融合模型，尤其在FDG的分割性能上有所下降。
📝 摘要（中文）
本研究探讨了PSMA和FDG PET/CT在前列腺癌中的互补生物信息，旨在通过融合这两种示踪剂来捕捉可能被单独使用时遗漏的肿瘤表型。我们评估了多模态图像融合策略在自动全身PET/CT病灶分割中的有效性，使用公开的DEEP-PSMA挑战数据集进行训练。结果显示，单一示踪剂模型表现良好，但融合模型的表现不一，且未能超越单一示踪剂基线。研究表明，临床上有效的多模态融合可能需要更好地保留示踪剂特定表示的架构。
🔬 方法详解
问题定义：本研究旨在解决多模态PET/CT图像融合在肿瘤分割中的有效性问题。现有方法在融合不同示踪剂时，未能充分利用各自的特征，导致性能不足。
核心思路：通过比较早期融合和中间融合的不同策略，探索如何更好地结合PSMA和FDG的特征，以提高肿瘤分割的准确性。设计中考虑了不同的编码器和解码器组合，以实现最佳的特征融合。
技术框架：整体架构包括基于3D nnU-Net的示踪剂特定基线模型，以及两种融合策略：早期融合（OEOD和OETD）和中间融合（DECA-UNet）。每种策略都通过不同的编码器和解码器配置进行比较。
关键创新：本研究的创新点在于提出了基于双编码器交叉注意力机制的中间融合架构（DECA-UNet），与传统的单一编码器解码器架构相比，能够更好地捕捉多模态信息。
关键设计：在模型设计中，使用了特定的损失函数来优化分割性能，并通过调整网络结构和参数设置，确保不同示踪剂的特征能够有效融合。
🖼️ 关键图片
📊 实验亮点
实验结果显示，单一示踪剂模型在PSMA和FDG的Dice系数分别为0.93和0.81，而融合模型的表现则较为不均，OEOD在非特定任务中获得了0.90的Dice系数，但在特定任务中，OETD和DECA-UNet的表现均未超过单一示踪剂基线。
🎯 应用场景
该研究的潜在应用领域包括临床前列腺癌的诊断和治疗监测，通过更准确的肿瘤分割，医生能够更好地评估肿瘤负担，从而制定个性化的治疗方案。未来，该方法可能扩展到其他类型的肿瘤影像分析中。
📄 摘要（原文）
PSMA and FDG PET/CT visualise complementary biological information in prostate cancer. Combining both tracers could capture heterogeneous tumour phenotypes that may be missed by either alone, yet there is no consensus on effective deep learning architectures for fusing these modalities. We evaluated multimodal image-fusion strategies for automatic whole-body PET/CT lesion segmentation to estimate total tumour burden. Using the public DEEP-PSMA Challenge dataset, we trained tracer-specific 3D nnU-Net baselines and compared (i) early fusion with a single encoder and one decoder (OEOD) or two decoders (OETD), and (ii) intermediate fusion via a dual-encoder cross-attention U-Net (DECA-UNet). Tracer-specific baselines performed strongly (PSMA Dice = 0.93; FDG = 0.81). Fusion yielded mixed results: OEOD produced a combined Dice of 0.90 (on an easier, non-tracer-specific task), whilst the tracer-specific fusion models reached PSMA/FDG = 0.69/0.64 (OETD) and 0.76/0.57 (DECA-UNet). Whilst fusion often provided reasonable PSMA segmentation, FDG performance degraded and no strategy consistently exceeded the single-tracer baselines. Under the evaluated setting, tracer-specific models remain the stronger baseline; clinically useful gains from multimodal fusion will likely require architectures that better preserve tracer specific representations. Our code is available at: https://github.com/JackJ3636/DEEP_PSMA_code