Sparse autoencoders reveal organized biological knowledge but minimal regulatory logic in single-cell foundation models: a comparative atlas of Geneformer and scGPT
作者: Ihor Kendiukhov
分类: q-bio.GN, cs.LG, q-bio.CB
发布日期: 2026-03-03
💡 一句话要点
稀疏自编码器揭示单细胞基础模型中的生物学知识组织，但因果调控逻辑极少
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 单细胞基础模型 稀疏自编码器 因果调控逻辑 特征图谱 生物学知识表示
📋 核心要点
- 单细胞基础模型虽然蕴含丰富生物信息，但缺乏对因果调控逻辑的有效编码，限制了其应用。
- 论文提出利用稀疏自编码器（SAE）分解单细胞基础模型的激活，提取可解释的生物学特征，构建特征图谱。
- 实验表明，模型虽能学习通路、互作等知识，但对转录因子调控靶标的预测能力有限，模型表示是瓶颈。
📝 摘要（中文）
背景：诸如Geneformer和scGPT等单细胞基础模型编码了丰富的生物学信息，但这些信息是否包含因果调控逻辑而非统计共表达尚不清楚。稀疏自编码器（SAE）可以通过将密集激活分解为可解释的特征来解决神经网络中的叠加问题，但尚未系统地应用于生物学基础模型。结果：我们对Geneformer V2-316M（18层，d=1152）和scGPT全人（12层，d=512）所有层的残差流激活训练了TopK SAE，分别生成了82525和24527个特征的图谱。两个图谱都证实了大规模的叠加现象，99.8%的特征对于奇异值分解（SVD）是不可见的。系统表征揭示了丰富的生物学组织：29%到59%的特征注释到基因本体论（Gene Ontology）、KEGG、Reactome、STRING或TRRUST，具有反映分层抽象的U型层轮廓。特征组织成共激活模块（Geneformer中141个，scGPT中76个），表现出因果特异性（中位数2.36倍），并形成跨层信息高速公路（63%到99.8%）。当针对全基因组CRISPRi扰动数据进行测试时，只有48个转录因子中的3个（6.2%）显示出调控靶标特异性的特征响应。多组织对照实验产生了边际改进（10.4%，48个TF中的5个），确定了模型表示是瓶颈。结论：这些模型已经内化了有组织的生物学知识，包括通路成员、蛋白质相互作用、功能模块和分层抽象，但它们编码的因果调控逻辑极少。我们发布了这两个特征图谱作为交互式网络平台，可以探索两个领先的单细胞基础模型的30层以上的107000多个特征。
🔬 方法详解
问题定义：论文旨在评估单细胞基础模型（如Geneformer和scGPT）是否以及在多大程度上编码了因果调控逻辑，而不仅仅是统计共表达。现有方法难以从这些模型的复杂表示中提取可解释的生物学知识，并验证其因果关系。
核心思路：论文的核心思路是利用稀疏自编码器（SAE）来分解单细胞基础模型内部的密集激活，从而提取出可解释的生物学特征。SAE通过引入稀疏性约束，迫使网络学习到更简洁、更具代表性的特征，从而解决神经网络中的叠加问题，使得原本隐藏在模型中的信息得以显现。
技术框架：整体框架包括以下几个主要步骤：1) 选择单细胞基础模型（Geneformer和scGPT）；2) 提取模型各层的残差流激活；3) 使用TopK SAE训练这些激活，生成特征图谱；4) 对生成的特征进行系统表征，包括注释到Gene Ontology、KEGG等数据库，分析共激活模块和跨层信息高速公路；5) 使用CRISPRi扰动数据评估特征的调控靶标特异性。
关键创新：论文的关键创新在于将稀疏自编码器应用于单细胞基础模型，以提取和解释其内部表示。这是首次系统性地使用SAE来解析生物学基础模型，并评估其编码的因果调控逻辑。通过这种方法，研究人员能够揭示模型中隐藏的生物学知识，并量化其在因果推断方面的局限性。
关键设计：论文的关键设计包括：1) 使用TopK稀疏性约束，只保留激活值最高的K个特征；2) 构建了Geneformer和scGPT的特征图谱，分别包含82525和24527个特征；3) 使用U型层轮廓分析特征在不同层级的抽象程度；4) 使用CRISPRi扰动数据评估特征的调控靶标特异性，并与多组织对照实验进行比较。
🖼️ 关键图片
📊 实验亮点
实验结果表明，Geneformer和scGPT虽然内化了丰富的生物学知识，但仅有极少数转录因子（6.2%-10.4%）表现出调控靶标特异性的特征响应。这表明模型在编码因果调控逻辑方面存在瓶颈，需要进一步改进模型结构和训练方法。
🎯 应用场景
该研究成果可用于改进单细胞基础模型的设计，使其更好地编码因果调控逻辑。提取的特征图谱可作为生物学研究的资源，用于基因功能注释、通路分析和药物靶点发现。此外，该方法也为解析其他复杂生物学模型提供了借鉴。
📄 摘要（原文）
Background: Single-cell foundation models such as Geneformer and scGPT encode rich biological information, but whether this includes causal regulatory logic rather than statistical co-expression remains unclear. Sparse autoencoders (SAEs) can resolve superposition in neural networks by decomposing dense activations into interpretable features, yet they have not been systematically applied to biological foundation models. Results: We trained TopK SAEs on residual stream activations from all layers of Geneformer V2-316M (18 layers, d=1152) and scGPT whole-human (12 layers, d=512), producing atlases of 82525 and 24527 features, respectively. Both atlases confirm massive superposition, with 99.8 percent of features invisible to SVD. Systematic characterization reveals rich biological organization: 29 to 59 percent of features annotate to Gene Ontology, KEGG, Reactome, STRING, or TRRUST, with U-shaped layer profiles reflecting hierarchical abstraction. Features organize into co-activation modules (141 in Geneformer, 76 in scGPT), exhibit causal specificity (median 2.36x), and form cross-layer information highways (63 to 99.8 percent). When tested against genome-scale CRISPRi perturbation data, only 3 of 48 transcription factors (6.2 percent) show regulatory-target-specific feature responses. A multi-tissue control yields marginal improvement (10.4 percent, 5 of 48 TFs), establishing model representations as the bottleneck. Conclusions: These models have internalized organized biological knowledge, including pathway membership, protein interactions, functional modules, and hierarchical abstraction, yet they encode minimal causal regulatory logic. We release both feature atlases as interactive web platforms enabling exploration of more than 107000 features across 30 layers of two leading single-cell foundation models.