ModalSurv: Investigating opportunities and limitations of multimodal deep survival learning in prostate and bladder cancer

📄 arXiv: 2509.05037v4 📥 PDF

作者: Noorul Wahab, Ethar Alzaid, Jiaqi Lv, Fayyaz Minhas, Adam Shephard, Shan E Ahmed Raza

分类: cs.LG

发布日期: 2025-09-05 (更新: 2025-12-10)

备注: 4 pages, 1 figure, 2 tables

💡 一句话要点

ModalSurv：多模态深度生存学习在前列腺癌和膀胱癌中的应用与局限性研究

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态学习 生存分析 深度学习 癌症预后 交叉注意力

📋 核心要点

  1. 癌症的个体化治疗需要准确的生存预测，而现有方法在多模态数据融合方面存在挑战。
  2. ModalSurv通过模态特定投影和交叉注意力融合，整合临床、影像、病理和基因数据进行生存预测。
  3. 实验表明，多模态模型在特定数据集上表现良好，但在外部测试中不如仅使用临床特征的模型，揭示了泛化性问题。

📝 摘要（中文）

本文提出了ModalSurv，一个多模态深度生存学习框架，旨在整合临床数据、MRI影像、组织病理学和RNA测序数据，通过模态特定的投影和交叉注意力融合进行癌症生存预测。在CHIMERA Grand Challenge数据集上，ModalSurv在前列腺癌预测中取得了0.7402的C-index（排名第一），在膀胱癌预测中取得了0.5740的C-index（排名第五）。值得注意的是，在外部测试中，仅使用临床特征的模型表现优于多模态模型，突显了多模态数据对齐有限和潜在过拟合的挑战。局部验证显示了多模态的增益，但泛化能力有限。ModalSurv系统地评估了多模态生存建模，强调了其在可扩展、可泛化的癌症预后方面的潜力和当前局限性。

🔬 方法详解

问题定义：论文旨在解决癌症生存预测问题，现有方法在整合多种模态数据（临床、影像、病理、基因）时面临挑战，例如数据对齐困难、信息冗余以及模型泛化能力不足等问题。这些痛点限制了多模态数据在癌症预后中的应用。

核心思路：论文的核心思路是设计一个多模态深度学习框架，通过模态特定的投影层提取各模态的特征，并利用交叉注意力机制实现模态间的有效融合。这种设计旨在克服数据异构性带来的挑战，充分利用不同模态的信息互补性，从而提高生存预测的准确性。

技术框架：ModalSurv框架包含以下主要模块：1) 模态特定投影层：将不同模态的数据映射到统一的特征空间。2) 交叉注意力融合层：利用注意力机制学习不同模态之间的关联性，实现信息融合。3) 生存预测层：基于融合后的特征进行生存概率预测。整体流程是先对各模态数据进行预处理和特征提取，然后通过交叉注意力进行融合，最后利用生存预测模型输出预测结果。

关键创新：该论文的关键创新在于提出了一个基于交叉注意力的多模态融合方法，能够自适应地学习不同模态之间的权重，从而更有效地利用多模态信息。与传统的简单拼接或加权平均方法相比，交叉注意力机制能够更好地捕捉模态间的复杂关系，提高模型的预测性能。

关键设计：在模态特定投影层，论文可能使用了不同的神经网络结构（如卷积神经网络、循环神经网络等）来适应不同模态数据的特点。交叉注意力融合层可能采用了多头注意力机制，以捕捉不同角度的模态间关系。生存预测层通常使用Cox比例风险模型或类似的生存分析模型，并采用负对数似然损失函数进行训练。具体的参数设置和网络结构需要在论文中进一步查找。

📊 实验亮点

ModalSurv在前列腺癌的CHIMERA Grand Challenge数据集上取得了0.7402的C-index，排名第一。虽然在膀胱癌数据集上排名第五（C-index为0.5740），但研究揭示了多模态模型在外部测试中可能不如仅使用临床特征的模型，强调了数据泛化性的重要性。局部验证显示多模态融合的增益，但整体结果表明多模态生存建模仍面临挑战。

🎯 应用场景

ModalSurv的研究成果可应用于癌症的个体化治疗，帮助医生更准确地预测患者的生存期，从而制定更合适的治疗方案。该研究也为多模态数据融合在医学领域的应用提供了参考，有助于推动精准医疗的发展。未来，该方法可以扩展到其他癌症类型或其他疾病的预后预测中。

📄 摘要（原文）

Accurate survival prediction is essential for personalised cancer treatment. We propose ModalSurv, a multimodal deep survival framework integrating clinical, MRI, histopathology, and RNA-sequencing data via modality-specific projections and cross-attention fusion. On the CHIMERA Grand Challenge datasets, ModalSurv achieved a C-index of 0.7402 (1st) for prostate and 0.5740 (5th) for bladder cancer. Notably, clinical features alone outperformed multimodal models on external tests, highlighting challenges of limited multimodal alignment and potential overfitting. Local validation showed multimodal gains but limited generalisation. ModalSurv provides a systematic evaluation of multimodal survival modelling, underscoring both its promise and current limitations for scalable, generalisable cancer prognosis.