$M^{2}$Fusion: Bayesian-based Multimodal Multi-level Fusion on Colorectal Cancer Microsatellite Instability Prediction

📄 arXiv: 2401.07854v1 📥 PDF

作者: Quan Liu, Jiawen Yao, Lisha Yao, Xin Chen, Jingren Zhou, Le Lu, Ling Zhang, Zaiyi Liu, Yuankai Huo

分类: cs.CV

发布日期: 2024-01-15

💡 一句话要点

提出$M^{2}$Fusion以解决结直肠癌微卫星不稳定性预测问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 结直肠癌 微卫星不稳定性 多模态融合 贝叶斯方法 医疗影像分析 特征提取 深度学习

📋 核心要点

  1. 现有方法在结直肠癌微卫星不稳定性预测中面临多模态信息融合的挑战，尤其是在病理图像和放射学图像的结合上。
  2. $M^{2}$Fusion通过贝叶斯框架实现病理WSI和3D放射CT图像的多层次融合，能够更有效地提取和利用多模态数据中的信息。
  3. 在352个病例的实验中，$M^{2}$Fusion的AUC得分为0.8177，显著优于特征级融合（0.7908）和决策级融合（0.7289）策略。

📝 摘要（中文）

结直肠癌（CRC）微卫星不稳定性（MSI）预测在组织病理图像上是一项具有挑战性的弱监督学习任务，涉及对千兆像素图像的多实例学习。尽管在全切片图像（WSI）表示学习和放射学数据利用方面取得了一定进展，但多模态信息融合仍然是CRC MSI预测的难点。本文提出了$M^{2}$Fusion，一个基于贝叶斯的多模态多层融合管道，能够在不同模态之间发现更多有助于预测MSI的新模式。该方法在352个病例的交叉验证中表现优异，AUC得分为0.8177，超过了特征级融合和决策级融合策略。

🔬 方法详解

问题定义：本文旨在解决结直肠癌微卫星不稳定性预测中的多模态信息融合问题。现有方法在整合病理图像和放射学图像时存在信息丢失和准确性不足的痛点。

核心思路：$M^{2}$Fusion采用贝叶斯框架进行多层次融合，能够在不同模态之间发现潜在的有益模式，从而提高MSI预测的准确性。

技术框架：该方法包括数据预处理、特征提取、贝叶斯融合和预测四个主要模块。通过对病理WSI和CT图像的特征进行多层次融合，增强了模型的学习能力。

关键创新：$M^{2}$Fusion是首个在病理WSI和3D放射CT图像上进行多层次融合的管道，首次将CT图像纳入CRC MSI预测的多模态融合中。

关键设计：在特征级融合策略中，采用了Transformer和CNN两种方法进行评估，确保了模型在不同架构下的有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

$M^{2}$Fusion在352个病例的交叉验证中取得了0.8177的AUC得分，显著优于特征级融合的0.7908和决策级融合的0.7289，展示了其在多模态数据融合中的卓越性能。

🎯 应用场景

该研究的潜在应用领域包括医疗影像分析、个性化癌症治疗和临床决策支持系统。通过提高结直肠癌微卫星不稳定性预测的准确性，能够为患者提供更有效的治疗方案，具有重要的实际价值和未来影响。

📄 摘要（原文）

Colorectal cancer (CRC) micro-satellite instability (MSI) prediction on histopathology images is a challenging weakly supervised learning task that involves multi-instance learning on gigapixel images. To date, radiology images have proven to have CRC MSI information and efficient patient imaging techniques. Different data modalities integration offers the opportunity to increase the accuracy and robustness of MSI prediction. Despite the progress in representation learning from the whole slide images (WSI) and exploring the potential of making use of radiology data, CRC MSI prediction remains a challenge to fuse the information from multiple data modalities (e.g., pathology WSI and radiology CT image). In this paper, we propose $M^{2}$Fusion: a Bayesian-based multimodal multi-level fusion pipeline for CRC MSI. The proposed fusion model $M^{2}$Fusion is capable of discovering more novel patterns within and across modalities that are beneficial for predicting MSI than using a single modality alone, as well as other fusion methods. The contribution of the paper is three-fold: (1) $M^{2}$Fusion is the first pipeline of multi-level fusion on pathology WSI and 3D radiology CT image for MSI prediction; (2) CT images are the first time integrated into multimodal fusion for CRC MSI prediction; (3) feature-level fusion strategy is evaluated on both Transformer-based and CNN-based method. Our approach is validated on cross-validation of 352 cases and outperforms either feature-level (0.8177 vs. 0.7908) or decision-level fusion strategy (0.8177 vs. 0.7289) on AUC score.