Complementary Information Mutual Learning for Multimodality Medical Image Segmentation

📄 arXiv: 2401.02717v2 📥 PDF

作者: Chuyun Shen, Wenhao Li, Haoqing Chen, Xiaoling Wang, Fengping Zhu, Yuxin Li, Xiangfeng Wang, Bo Jin

分类: cs.CV, cs.AI

发布日期: 2024-01-05 (更新: 2024-07-10)

备注: 35 pages, 18 figures

💡 一句话要点

提出互补信息互学习框架以解决多模态医学图像分割中的冗余信息问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态学习 医学图像分割 互补信息 冗余过滤 变分推断 跨模态注意力 深度学习

📋 核心要点

  1. 现有的多模态医学图像分割方法面临模态冗余和信息忽视等挑战，导致分割精度下降。
  2. 本文提出的CIML框架通过任务分解和消息传递机制，有效去除模态间冗余信息。
  3. 实验结果显示，CIML在标准基准测试中显著提升了分割精度，超越了现有最先进方法。

📝 摘要（中文）

放射科医生在肿瘤分割和诊断中必须利用多种模态图像，然而现有的基于减法的联合学习方法面临模态冗余、信息忽视和认知负担等挑战，导致分割精度下降和过拟合风险增加。本文提出了互补信息互学习（CIML）框架，旨在数学上建模并解决模态间冗余信息的负面影响。CIML通过任务分解和基于消息传递的冗余过滤，去除模态间的冗余信息，并通过变分信息瓶颈的启发实现互补信息学习。实验结果表明，CIML在验证精度和分割效果上优于现有最先进方法。

🔬 方法详解

问题定义：本文旨在解决多模态医学图像分割中的冗余信息问题。现有方法在处理模态冗余时，常常误判模态的重要性，忽视特定模态信息，导致分割精度下降和过拟合风险增加。

核心思路：CIML框架通过任务分解和消息传递机制，去除模态间的冗余信息。通过将多模态分割任务分解为多个子任务，减少模态间的信息依赖，同时允许模态间的信息互补提取。

技术框架：CIML的整体架构包括任务分解模块、消息传递模块和冗余过滤模块。任务分解模块基于专家先验知识将任务分解为多个子任务，消息传递模块实现模态间的信息互补提取，而冗余过滤模块则通过变分推断和跨模态空间注意力机制实现信息的非冗余提取。

关键创新：CIML的核心创新在于将冗余过滤转化为互补信息学习，采用变分信息瓶颈的思想，显著提高了信息利用效率。与现有方法相比，CIML在处理模态冗余时具有更高的灵活性和准确性。

关键设计：CIML采用了变分推断技术来解决互补信息学习过程中的优化问题，并引入了跨模态空间注意力机制，以增强模态间的信息交互和提取能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，CIML在多个标准基准测试中显著提高了分割精度，相较于现有最先进方法，验证精度提升了X%（具体数据未知），有效降低了冗余信息的影响，提升了分割效果。

🎯 应用场景

该研究在医学图像分析领域具有广泛的应用潜力，尤其是在肿瘤检测和诊断中。通过提高多模态图像分割的精度，CIML框架能够帮助放射科医生更准确地识别和分析肿瘤，从而提升临床决策的质量。未来，该方法还可以扩展到其他医学影像处理任务中，推动多模态学习的发展。

📄 摘要（原文）

Radiologists must utilize multiple modal images for tumor segmentation and diagnosis due to the limitations of medical imaging and the diversity of tumor signals. This leads to the development of multimodal learning in segmentation. However, the redundancy among modalities creates challenges for existing subtraction-based joint learning methods, such as misjudging the importance of modalities, ignoring specific modal information, and increasing cognitive load. These thorny issues ultimately decrease segmentation accuracy and increase the risk of overfitting. This paper presents the complementary information mutual learning (CIML) framework, which can mathematically model and address the negative impact of inter-modal redundant information. CIML adopts the idea of addition and removes inter-modal redundant information through inductive bias-driven task decomposition and message passing-based redundancy filtering. CIML first decomposes the multimodal segmentation task into multiple subtasks based on expert prior knowledge, minimizing the information dependence between modalities. Furthermore, CIML introduces a scheme in which each modality can extract information from other modalities additively through message passing. To achieve non-redundancy of extracted information, the redundant filtering is transformed into complementary information learning inspired by the variational information bottleneck. The complementary information learning procedure can be efficiently solved by variational inference and cross-modal spatial attention. Numerical results from the verification task and standard benchmarks indicate that CIML efficiently removes redundant information between modalities, outperforming SOTA methods regarding validation accuracy and segmentation effect.