Data-Efficient Multimodal Alignment for Histopathology-based Molecular Prediction
作者: Dominik Winter, Dominik Vonficht, Loïc Le Bescond, Christian Gebbe, Marco Rosati, Richard J. Chen, Markus Schick, Ross Stewart, Nicolas Brieu
分类: eess.IV, cs.AI, q-bio.GN
发布日期: 2026-06-29
备注: 10 pages, 4 figures
💡 一句话要点
提出数据高效的多模态对齐方法以实现组织病理学分子预测
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 组织病理学 多模态对齐 分子预测 对比学习 临床应用 数据高效 癌症研究
📋 核心要点
- 现有方法在组织病理学图像与分子数据之间缺乏有效的对齐，导致分子特征的预测能力不足。
- 本文提出了一种轻量级对齐模块，能够在不进行重训练的情况下，通过基因集签名对H&E切片进行分子预测。
- 在多癌症队列中，使用对比学习方法实现了25倍的检索性能提升，验证了模型的临床实用性和泛化能力。
📝 摘要（中文）
H&E染色的全切片图像在群体规模上具有丰富的空间上下文，但缺乏分子特异性，而大规模RNA测序提供了全转录组分辨率，但成本高且存档可用性有限。本文展示了在冻结的组织病理学和RNA-Seq基础模型上训练轻量级对齐模块的有效性，能够实现开放词汇的分子提示——通过基因集签名查询H&E切片以预测通路活性，而无需测序或端到端重训练。在多癌症队列（N=1,720）上使用对比学习，我们在检索上实现了25倍的提升。系统分析揭示了可预测性谱系：形态学基础的程序（细胞周期程序、免疫相关程序）最可靠（R^2>0.5），而预测没有形态学特征的通路仍然具有挑战性。我们在POSEIDON临床试验中验证了临床实用性：H&E预测的鳞状细胞癌评分重现了NSCLC亚型身份，预测的IFN-gamma反映了PD-L1肿瘤细胞表达组。进一步验证了我们的方法在未见队列中的泛化能力，并展示了数据高效的领域适应性，建立了一个基于H&E图像的分子分析框架。
🔬 方法详解
问题定义：本文旨在解决组织病理学图像与分子数据之间的对齐问题，现有方法在这一领域的预测能力有限，尤其是在缺乏形态学特征的情况下。
核心思路：通过在冻结的组织病理学和RNA-Seq基础模型上训练轻量级对齐模块，实现开放词汇的分子提示，允许用户通过基因集签名查询H&E切片。
技术框架：整体架构包括数据预处理、对齐模块的训练、对比学习的实施以及最终的分子预测。主要模块包括H&E图像处理、RNA-Seq数据处理和对齐模块。
关键创新：最重要的创新在于实现了无需重训练的分子预测，利用对比学习显著提升了检索性能，与传统方法相比，提供了更高的灵活性和效率。
关键设计：在模型设计中，采用了特定的损失函数以优化对齐效果，并在网络结构上进行了轻量化设计，以确保在大规模数据集上的高效训练和推理。具体参数设置和网络结构细节在论文中有详细描述。
🖼️ 关键图片
📊 实验亮点
在多癌症队列中，本文的方法在检索性能上实现了25倍的提升，相较于基线方法表现出显著的优势。此外，H&E预测的鳞状细胞癌评分与NSCLC亚型身份高度一致，验证了模型的临床实用性。
🎯 应用场景
该研究的潜在应用领域包括肿瘤生物标志物的预测、个性化医疗方案的制定以及临床试验中的患者分层。通过实现组织病理学图像与分子数据的有效对齐，能够为临床决策提供更为精准的支持，未来可能对癌症诊断和治疗产生深远影响。
📄 摘要（原文）
H&E-stained whole-slide images offer cohort-scale availability and rich spatial context but lack molecular specificity, whereas bulk RNA-seq provides transcriptome-wide resolution at high cost with limited archival availability. We show that training a lightweight alignment module atop frozen histopathology and RNA-Seq foundation models enables open-vocabulary molecular prompting -- querying H&E slides with gene-set signatures to predict pathway activity without sequencing or end-to-end retraining. Using contrastive learning on a multi-cancer cohort (N=1,720), we achieve a 25-fold improvement in retrieval over baseline methods. Systematic analysis reveals a graduated predictability spectrum: morphologically grounded programs (cell-cycle programs, immune-related) are most reliably predicted (R^2>0.5), while predicting pathways with no morphological footprint remains challenging as expected. We validate clinical utility on the POSEIDON clinical trial: H&E-predicted squamous cell carcinoma scores recapitulate NSCLC subtype identity and predicted IFN-gamma mirror PD-L1 tumor-cell expression groups. Furthermore, genesets describing immune activation and fibrosis predict known tumor microenvironment archetypes from histology alone. We further validate generalization of our approach across unseen cohorts and demonstrate data-efficient domain adaptation, establishing a slide-native framework for molecular analysis on H&E images.