HistoTx: Early fusion of H&E images and spatial transcriptomics at varying spatial transcriptomics resolution with self-supervised learning
作者: Alice Driessen, Emil Malmsten, Steffen Wolf, Bernd Illing, Isinsu Katircioglu, Adriano Martinelli, Rolf Stahel, Solange Peters, Enriqueta Felip, Sanjay Popat, Krisztian Homicsko, Raphael Gottardo, Marianna Rapsomaniki, Fei Tang
分类: cs.LG, cs.AI, q-bio.GN, q-bio.QM
发布日期: 2026-11-02
备注: Presented at 3rd Workshop on Multi-modal Foundation Models and Large Language Models for Life Sciences (ICML 2026)
💡 一句话要点
提出HistoTx以实现H&E图像与空间转录组早期融合
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 空间转录组学 全切片图像 多模态融合 自监督学习 视觉变换器 医学影像分析 基因表达预测
📋 核心要点
- 现有的机器学习方法在结合空间转录组学和全切片图像时，通常将转录组学视为训练信号，导致推理过程依赖图像，无法充分利用分子信息。
- 本文提出了一种早期融合的视觉变换器架构，通过构建转录标记并与图像补丁标记合并，进行深度跨模态交互，从而提升推理效果。
- 实验结果显示，在仅使用图像推理时，性能与基线相当，而在同时使用图像和转录组数据时，联合输入的表现显著优于单一模态。
📝 摘要（中文）
空间转录组学通过对组织切片的基因表达进行映射，与全切片图像结合，提供了组织生物学的丰富多模态视图。现有的机器学习方法通常将转录组学作为训练信号，而非真正的输入模态，导致推理过程主要依赖图像。本文提出了一种早期融合的视觉变换器架构，能够在任意空间分辨率下构建转录标记，并与图像补丁标记合并，通过共享的变换器堆栈进行深度跨模态交互。实验结果表明，在仅使用图像进行推理时，性能与基线相当，而在同时使用两种模态时，联合输入的表现优于单一模态。
🔬 方法详解
问题定义：本文旨在解决现有方法在结合空间转录组学与全切片图像时，无法充分利用分子信息的问题。现有方法通常将转录组学视为训练信号，导致推理过程主要依赖图像。
核心思路：论文提出了一种早期融合的视觉变换器架构，能够在任意空间分辨率下构建转录标记，并与图像补丁标记合并，进行深度跨模态交互。这种设计旨在提升推理时对分子信息的利用。
技术框架：整体架构包括一个共享的变换器堆栈，首先从预训练的视觉病理基础模型开始，随后在配对的图像和空间转录组数据上继续自监督预训练。主要模块包括转录标记构建、图像补丁合并和跨模态处理。
关键创新：最重要的技术创新点在于早期融合的设计，使得转录组学不仅作为训练信号，而是作为真正的输入模态，显著提升了推理效果。与现有方法相比，这种方法在推理时能够更好地结合图像和分子信息。
关键设计：在参数设置上，采用了自监督学习的策略，损失函数设计上注重跨模态对齐，网络结构上使用了变换器架构以增强特征提取能力。
🖼️ 关键图片
📊 实验亮点
实验结果表明，在仅使用图像进行推理时，HistoTx的性能与基线相当，而在同时提供图像和转录组输入时，联合输入的表现优于单一模态，特别是在基因表达预测等任务中表现出显著提升。
🎯 应用场景
该研究的潜在应用领域包括医学影像分析、肿瘤学研究以及个性化医疗。通过更好地结合形态学和分子信息，HistoTx能够为疾病的早期诊断和治疗提供更为精准的支持，未来可能推动相关领域的研究和临床应用。
📄 摘要（原文）
Spatial transcriptomics maps gene expression across tissue sections and, when integrated with whole slide images, jointly captures both morphological architecture and molecular activity to provide a rich, multimodal view of tissue biology. ML approaches combining spatial transcriptomics and WSIs typically learn a mapping from morphological features to molecular profiles via contrastive alignment or supervised fine-tuning of pathology foundation models. In both cases, transcriptomics serves as a training signal rather than a true input modality, leaving inference fundamentally image-driven. We propose an early-fusion vision transformer architecture in which transcript tokens are constructed at arbitrary spatial resolution, merged with image patch tokens, and jointly processed through a shared transformer stack for deep cross-modal interaction. Starting from a pretrained vision-only pathology foundation model, we train HistoTx by continuing self-supervised pretraining on paired image and spatial transcriptomics data and demonstrate that: 1) at inference with image only, performance remains on par with the baseline on most tasks while improving on tasks that inherently benefit from molecular knowledge, such as gene expression prediction; 2) when both modalities are available at inference, jointly providing image and transcript inputs outperforms either modality alone.