BioFusionNet: Deep Learning-Based Survival Risk Stratification in ER+ Breast Cancer Through Multifeature and Multimodal Data Fusion

📄 arXiv: 2402.10717v2 📥 PDF

作者: Raktim Kumar Mondol, Ewan K. A. Millar, Arcot Sowmya, Erik Meijering

分类: cs.CV, cs.AI

发布日期: 2024-02-16 (更新: 2024-06-03)

备注: Keywords: Multimodal Fusion, Breast Cancer, Whole Slide Images, Deep Neural Network, Survival Prediction

期刊: JBHI, 24 June 2024

DOI: 10.1109/JBHI.2024.3418341

💡 一句话要点

提出BioFusionNet以解决ER+乳腺癌生存风险分层问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 生存风险分层 深度学习 多模态融合 乳腺癌 自监督学习 注意力机制 Cox损失函数

📋 核心要点

  1. 现有方法在乳腺癌生存风险分层中往往未能充分利用多模态数据，导致预测准确性不足。
  2. BioFusionNet通过融合图像、遗传和临床数据，采用自监督学习和注意力机制，提升生存风险预测的准确性。
  3. 模型在生存风险预测中取得了平均一致性指数0.77和时间依赖曲线下面积0.84，显著优于现有方法。

📝 摘要（中文）

乳腺癌是全球数百万女性面临的重要健康问题，准确的生存风险分层对于个性化治疗决策和改善患者预后至关重要。本文提出BioFusionNet，一个深度学习框架，通过融合图像特征、遗传和临床数据，获得全面的患者特征，从而实现ER+乳腺癌患者的生存风险分层。我们采用多种自监督特征提取器（DINO和MoCoV3）对组织病理切片进行预训练，以捕捉详细的图像特征。这些特征通过变分自编码器融合，并输入自注意力网络生成患者级特征。共双交叉注意力机制结合了组织病理特征和遗传数据，使模型能够捕捉两者之间的相互作用。此外，临床数据通过前馈网络整合，进一步提升预测性能。我们还引入了加权Cox损失函数，以应对生存数据的不平衡问题。我们的模型在生存风险预测中表现优异，达到了0.77的平均一致性指数和0.84的时间依赖曲线下面积。

🔬 方法详解

问题定义：本文旨在解决ER+乳腺癌患者的生存风险分层问题。现有方法通常未能有效整合多模态数据，导致预测性能不足。

核心思路：BioFusionNet通过融合图像-derived特征、遗传信息和临床数据，构建全面的患者特征表示，从而提高生存风险的预测能力。

技术框架：该框架包括多个模块：首先使用自监督特征提取器（如DINO和MoCoV3）从组织病理图像中提取特征；然后通过变分自编码器融合这些特征；接着，利用自注意力网络生成患者级特征；最后，通过共双交叉注意力机制结合遗传数据和临床数据。

关键创新：引入了共双交叉注意力机制，使得模型能够有效捕捉组织病理特征与遗传数据之间的相互作用，这是与现有方法的本质区别。

关键设计：采用加权Cox损失函数来处理生存数据的不平衡问题，确保模型在面对不均衡数据时仍能保持良好的预测性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

BioFusionNet在生存风险预测中取得了显著成绩，平均一致性指数达到0.77，时间依赖曲线下面积为0.84，均优于现有的最先进方法。此外，模型在单变量分析中显示出HR=2.99的预后意义，且在多变量分析中保持独立显著性，HR=2.91，均p<0.005。

🎯 应用场景

BioFusionNet在乳腺癌生存风险分层中的应用潜力巨大，能够为临床医生提供更为精准的个性化治疗方案，改善患者的生存率和生活质量。未来，该框架还可扩展至其他类型癌症的风险评估与治疗决策支持。

📄 摘要（原文）

Breast cancer is a significant health concern affecting millions of women worldwide. Accurate survival risk stratification plays a crucial role in guiding personalised treatment decisions and improving patient outcomes. Here we present BioFusionNet, a deep learning framework that fuses image-derived features with genetic and clinical data to obtain a holistic profile and achieve survival risk stratification of ER+ breast cancer patients. We employ multiple self-supervised feature extractors (DINO and MoCoV3) pretrained on histopathological patches to capture detailed image features. These features are then fused by a variational autoencoder and fed to a self-attention network generating patient-level features. A co-dual-cross-attention mechanism combines the histopathological features with genetic data, enabling the model to capture the interplay between them. Additionally, clinical data is incorporated using a feed-forward network, further enhancing predictive performance and achieving comprehensive multimodal feature integration. Furthermore, we introduce a weighted Cox loss function, specifically designed to handle imbalanced survival data, which is a common challenge. Our model achieves a mean concordance index of 0.77 and a time-dependent area under the curve of 0.84, outperforming state-of-the-art methods. It predicts risk (high versus low) with prognostic significance for overall survival in univariate analysis (HR=2.99, 95% CI: 1.88--4.78, p<0.005), and maintains independent significance in multivariate analysis incorporating standard clinicopathological variables (HR=2.91, 95\% CI: 1.80--4.68, p<0.005).