CellWorld: From Gene-Level Reconstruction to Latent Cell Prediction in Spatial Transcriptomics Foundation Models
作者: Haiping Liu, Qian Zhao, Lijing Lin, Jingyuan Sun, Hongpeng Zhou
分类: cs.AI
发布日期: 2026-08-07
🔗 代码/项目: GITHUB
💡 一句话要点
提出CellWorld以解决空间转录组基础模型的重建问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 空间转录组 潜在表示 基础模型 细胞预测 生物信息学
📋 核心要点
- 现有空间转录组模型主要重建基因身份和表达值，容易导致实验特定的技术变异，限制了模型的可转移性。
- 论文提出CellWorld，通过从可见空间上下文和部分表达提示中预测潜在细胞表示，避免直接重建技术变异。
- 实验结果显示，CellWorld-Small在多个基准测试中超越所有基线，且CellWorld-Large在仅使用5%数据的情况下表现优异。
📝 摘要（中文）
本文展示了潜在空间预测预训练为空间转录组基础模型提供了一条可扩展的路径。现有的空间转录组基础模型主要重建掩蔽的基因身份或表达值，这可能导致实验特定技术变异的再现，并限制了表示的可转移性。为避免直接重建这种变异，我们将预测目标从观察到的基因测量转移到潜在细胞表示，并引入CellWorld，该模型从可见的空间上下文和有限的部分表达提示中预测掩蔽细胞的潜在表示。我们在4600万个人类细胞的语料库上预训练了四个CellWorld变体，参数量从574万到9456万不等。我们的控制扩展实验表明，模型容量的增加能显著提升性能，尤其是在空间任务上，而空间转移更依赖于充分的优化和广泛的生物源多样性，而不仅仅是细胞数量。即使是参数量为574万的CellWorld-Small，在所有11个线性探针基准和7个微调空间基准上也超越了每个基线。
🔬 方法详解
问题定义：本文旨在解决现有空间转录组基础模型在重建基因身份和表达值时所面临的技术变异再现问题。这种再现限制了模型的可转移性和应用范围。
核心思路：论文的核心思路是将预测目标从观察到的基因测量转移到潜在细胞表示，利用可见的空间上下文和部分表达提示来进行预测，从而避免直接重建技术变异。
技术框架：整体架构包括数据预处理、潜在表示预测和模型训练三个主要阶段。首先，对输入数据进行处理以提取空间上下文信息，然后通过神经网络模型进行潜在表示的预测，最后进行模型的预训练和优化。
关键创新：最重要的技术创新在于引入了潜在细胞表示的预测机制，这与现有方法的直接重建方式形成了本质区别，能够更好地适应不同的生物数据源。
关键设计：在模型设计中，采用了多层神经网络结构，损失函数设计为结合重建误差和潜在表示的相似性，参数设置上则根据不同变体的规模进行了优化。预训练的参数量范围从574万到9456万，确保了模型的灵活性和扩展性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，CellWorld-Small在所有11个线性探针基准和7个微调空间基准上超越了所有基线，尤其是CellWorld-Large在仅使用5%数据的情况下，仍然在所有七个空间基准上表现优异，显示出其强大的泛化能力。
🎯 应用场景
该研究的潜在应用领域包括生物医学研究、药物开发和个性化医疗等。通过提高空间转录组数据的分析能力，CellWorld能够帮助研究人员更好地理解细胞间的相互作用和生物过程，从而推动相关领域的进步。
📄 摘要（原文）
This paper shows that latent-space predictive pretraining can provide a scalable route to foundation models for spatial transcriptomics. Existing spatial transcriptomics foundation models primarily reconstruct masked gene identities or expression values, potentially encouraging the reproduction of assay-specific technical variation and limiting representation transferability. To avoid directly reconstructing such variation, we shift the prediction target from observed gene measurements to latent cell representations and introduce CellWorld, which predicts the latent representations of masked cells from visible spatial context and a limited partial-expression hint. We pretrain four CellWorld variants, spanning 5.74M to 94.56M trainable parameters, on a corpus of 46 million human cells. Our controlled scaling experiments show that performance improves with model capacity, particularly on spatial tasks, while spatial transfer depends more on sufficient optimization and broad biological source diversity than on cell count alone. Across four held-out datasets, even CellWorld-Small, with 5.74M trainable parameters, outperforms every baseline on all 11 linear-probe benchmarks and all seven fine-tuned spatial benchmarks. Most notably, a frozen CellWorld-Large pretrained on only 5\% of the corpus with broad biological source coverage outperforms every fully fine-tuned baseline across all seven spatial benchmarks. Code is available at https://github.com/UoM-HealthAI/CellWorld.