Predicting Immune Biomarkers with MultiModal Mixture-of-Expert Pathology Foundation Models Empowers Precision Oncology
作者: Tianyu Liu, Ziqing Wang, Zhaokang Liang, Tong Ding, Peter Humphrey, Lorraine Colón-Cartagena, Emily Ling-Lin Pai, Kenneth Tou En Chang, Mohamed Kahila, Jonathan Chong Kai Liew, Tinglin Huang, Rex Ying, Kaize Ding, Faisal Mahmood, Wengong Jin
分类: cs.CV
发布日期: 2026-06-16
备注: 5 figures
💡 一句话要点
提出MixTIME以解决肿瘤免疫微环境生物标志物预测问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态融合 混合专家 精准肿瘤学 免疫生物标志物 计算病理学 蛋白表达预测 临床应用
📋 核心要点
- 现有方法多限于单一图像模态，无法充分利用多种临床和生物信息，导致预测精度不足。
- MixTIME通过混合专家架构整合多种模态的病理模型，动态加权专家贡献以提高预测性能。
- 在两个数据集上，MixTIME在17个蛋白标记物的预测上表现优异，显著提升了生存预测和病理报告生成的效果。
📝 摘要（中文）
预测与肿瘤免疫微环境（TIME）相关的免疫生物标志物对于推进精准肿瘤学至关重要。然而，现有方法主要局限于单一图像模态，且未能充分利用临床和生物信息。本文提出MixTIME，一个多模态基础模型，利用混合专家（MoE）架构整合不同模态的病理基础模型，实现对多重免疫荧光（mIF）蛋白表达的像素级和切片级预测。MixTIME通过可学习的路由器动态加权专家贡献，并采用分布和趋势感知的损失函数进行训练。在两个不同规模的数据集上，MixTIME在17个蛋白标记物的相关性指标上实现了最先进的性能，显著提升了下游任务的效果。
🔬 方法详解
问题定义：本文旨在解决肿瘤免疫微环境中免疫生物标志物的预测问题。现有方法主要依赖单一图像模态，导致信息利用不足和预测精度低下。
核心思路：MixTIME通过混合专家架构整合不同模态的病理模型，利用动态加权机制来优化专家贡献，从而提高预测的准确性和全面性。
技术框架：MixTIME的整体架构包括多个模块：图像处理模块（UNIv2）、图像文本模块（CONCHv1.5）和图像转录组模块（STPath），通过可学习的路由器进行动态加权，最终实现对mIF蛋白表达的精准预测。
关键创新：MixTIME的主要创新在于其混合专家架构和动态加权机制，使得模型能够在多模态信息中自适应地选择最优的专家，从而显著提升预测性能。
关键设计：MixTIME采用分布和趋势感知的损失函数进行训练，确保模型在不同数据分布下的鲁棒性。同时，模型的路由器设计允许在不同临床场景中灵活调整专家的贡献。
🖼️ 关键图片
📊 实验亮点
MixTIME在两个不同规模的数据集上实现了17个蛋白标记物的最先进性能，相关性指标显著优于现有基线，提升幅度达到XX%（具体数据未知）。该模型的预测结果在下游任务中表现出显著的实用价值，获得多家机构专家的验证。
🎯 应用场景
MixTIME在精准肿瘤学中的潜在应用广泛，包括肿瘤免疫微环境的生物标志物发现、患者生存预测以及AI辅助病理报告生成。其多模态整合能力为临床决策提供了更为全面的信息支持，未来可能推动个性化治疗的发展。
📄 摘要（原文）
Predicting immune biomarkers associated with the tumor immune microenvironment (TIME) is critical for advancing precision oncology, yet existing approaches are largely limited to single image modalities and suffer from insufficient resolution and incomplete utilization of complementary clinical and biological information. Here we introduce MixTIME, a multimodal foundation model that leverages a mixture-of-experts (MoE) architecture to integrate pathology foundation models trained across distinct modalities: image only (UNIv2), image text (CONCHv1.5), and image transcriptomic (STPath) representations for pixel-level and slide-level prediction of multiplex immunofluorescence (mIF) protein expression from hematoxylin and eosin (HE) whole-slide images. MixTIME employs a learnable router to dynamically weight expert contributions and is trained with a distribution- and tendency-aware loss function. Benchmarked on two datasets of different scales, MixTIME achieves state-of-the-art performance across 17 protein markers as measured by correlation metrics. The predicted mIF profiles substantially enhance downstream tasks, including spatial domain identification, survival prediction, and AI-assisted pathology report generation validated by expert pathologists from multiple institutes across the world. Furthermore, MixTIME enables longitudinal tracking of protein expression dynamics across clinical time points and reveals protein gene interaction patterns linked to drug resistance and immune suppression in tumor microenvironments. Collectively, MixTIME provides a scalable framework for multimodal biomarker discovery and clinical translation in computational pathology.