A Multimodal Foundation Model for Longitudinal Patient Representation and Scalable Insight Generation in Oncology
作者: Eugene Vorontsov, Yi Kan Wang, Alican Bozkurt, Adam Casson, Ludmila Tydlitatova, Michal Zelechowski, Ezra E. W. Cohen, Jyoti D. Patel, Max Banaszak, Caitlin McWilliams, Shane Colley, Kate Sasser, Ryan Fukushima, Eric Lefkofsky, Razik Yousfi, Siqi Liu
分类: cs.LG
发布日期: 2026-08-25
💡 一句话要点
提出多模态基础模型以解决肿瘤学中的患者长期状态表示问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态基础模型 精准肿瘤学 患者状态表示 临床数据整合 生物标志物 深度学习 预后评估 药物研发
📋 核心要点
- 现有方法在捕捉癌症演变和治疗过程的长期患者状态方面存在不足，难以整合多模态数据。
- 论文提出的oFM模型通过整合临床、分子和病理数据，生成患者状态嵌入，提供更全面的患者表征。
- 实验结果显示，oFM在多个预后指标上显著提升了AUC，并在治疗效益评估中表现优于基线特征。
📝 摘要（中文）
精准肿瘤学需要一个能够捕捉癌症演变和治疗过程的患者状态的长期模型，并整合多模态观察。我们提出了oFM，一个基于167万癌症患者的真实世界肿瘤学队列开发的基础模型，整合了临床轨迹、DNA、RNA和H&E病理数据。oFM编码了每日临床和分子事件，并通过时间整合生成患者状态嵌入。在预后基准中，oFM在治疗反应、无进展生存期和总体生存期的AUC上均有所提升。oFM嵌入在11个比较治疗队列中实现了三倍于基线特征的治疗效益AUTOC，并在9个队列中改善了效益排名，同时在两个治疗组内提供了更强的预后区分能力。
🔬 方法详解
问题定义：本论文旨在解决精准肿瘤学中对患者长期状态的表示问题，现有方法难以有效整合多模态数据以捕捉癌症的演变和治疗过程。
核心思路：论文提出的oFM模型通过整合临床轨迹、DNA、RNA和H&E病理数据，生成患者状态嵌入，旨在提供更全面的患者表征和更精准的预后评估。
技术框架：oFM模型的整体架构包括数据预处理、特征提取、嵌入生成和模型评估四个主要模块。首先，收集和整合来自167万患者的多模态数据；然后，利用深度学习技术提取特征并生成患者状态嵌入。
关键创新：oFM的主要创新在于其能够同时整合临床、分子和病理数据，生成动态的患者状态表示，与传统方法相比，能够更好地反映患者的真实状态和治疗反应。
关键设计：在模型设计中，采用了特定的损失函数以优化嵌入的生成，并通过交叉验证确保模型的泛化能力。模型的参数设置经过多次实验调整，以达到最佳的性能表现。
🖼️ 关键图片
📊 实验亮点
实验结果显示，oFM在治疗反应、无进展生存期和总体生存期的AUC分别提升至0.774，相较于基线的0.563有显著改善。在11个比较治疗队列中，oFM嵌入的治疗效益AUTOC是基线特征的三倍，并在9个队列中改善了效益排名，展现出更强的预后区分能力。
🎯 应用场景
该研究的潜在应用领域包括临床决策支持、个性化治疗方案制定以及新药研发。通过提供更准确的患者状态表示，oFM能够帮助医生更好地理解患者的病情进展，从而优化治疗策略。此外，该模型在药物开发过程中也能提供重要的生物学机制洞察，推动精准医疗的发展。
📄 摘要（原文）
Precision oncology necessitates a longitudinal model of patient state that captures cancer evolution and treatment over time, integrating multimodal observations. We introduce the oFM, a foundation model developed on a real-world oncology cohort of 1.67 million cancer patients that integrates clinical trajectories with DNA, RNA, and H&E pathology. Patient-level partitions were reserved for training, validation, and testing, with over one million patients used for training. The oFM encodes daily clinical and molecular episodes and, along with pathology images, integrates them over time to produce a patient state embedding. We evaluate frozen oFM embeddings against expert-curated clinical and molecular baseline features. In prognostic benchmarks, the oFM improved AUC for treatment response, progression-free survival, and overall survival (0.774 vs. 0.563 for overall survival). Across 11 comparative-treatment cohorts, the oFM embeddings achieved a three-fold higher pooled and scale-normalized treatment-benefit AUTOC than baseline features with improved benefit ranking in 9 of 11 cohorts, and provided stronger prognostic discrimination within both treatment arms. We also evaluated a mechanism discovery framework that interprets downstream models built on oFM embeddings by linking their predicted outcomes to clinically and biologically grounded mechanisms through an evidence-grounded temporal graph, enabling evaluation in clinical and drug-development applications.