BioM-JEPA: joint-embedding prediction of graph-connected gene blocks in single cells

📄 arXiv: 2608.05928v1 📥 PDF

作者: Yuhao Wang, Zelin Zang, Yuxuan Liu, Zhen Lei, Stan Z. Li

分类: cs.LG

发布日期: 2026-08-06

备注: 34 pages, 6 figures, and 13 supplementary tables (Tables S1-S13); includes Supplementary Information with detailed training and evaluation protocols. Numerical source data for all figures are provided as ancillary files; training code and the BioM-JEPA checkpoint will be released via GitHub

💡 一句话要点

提出BioM-JEPA以解决单细胞基因块预测问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 单细胞转录组 自监督学习 基因块预测 图连接 生物信息学

📋 核心要点

  1. 现有自监督模型主要通过重建单个基因进行学习，无法有效捕捉基因间的协同作用。
  2. BioM-JEPA通过预测图连接基因块的聚合表示，利用学生-教师网络架构进行联合嵌入学习。
  3. 实验结果表明，BioM-JEPA在多个任务中表现优异，嵌入信息保留良好，且在计算效率上显著提升。

📝 摘要（中文）

单细胞转录组是生物程序协调的稀疏观察，现有自监督模型主要通过重建单个基因进行学习。本文提出BioM-JEPA，一种联合嵌入预测架构，预测由蛋白质关联和共表达证据定义的图连接基因块的聚合表示。学生网络从细胞中的剩余基因推断目标块表示，而缓慢更新的教师网络则提供完整观察基因集中的相应目标。在提取过程中，块级预测产生的嵌入在有效秩上更高，且与检测基因深度的关联性较弱。BioM-JEPA在CellBench任务中保留了表达、通路和邻域信息，并在评估模型中实现了最低的聚合扰动响应误差。

🔬 方法详解

问题定义：本文旨在解决现有自监督模型在单细胞基因预测中无法有效捕捉基因间协同作用的问题，现有方法主要依赖于单个基因的重建，导致信息损失。

核心思路：BioM-JEPA提出了一种联合嵌入预测架构，通过预测图连接基因块的聚合表示，利用学生-教师网络结构来增强学习效果。这样设计的目的是为了更好地捕捉基因间的相互关系和生物学意义。

技术框架：BioM-JEPA的整体架构包括一个学生网络和一个教师网络。学生网络从细胞中剩余的基因推断目标块的表示，而教师网络则提供完整基因集中的目标信息。该方法通过缓慢更新的教师网络来确保学习的稳定性和准确性。

关键创新：BioM-JEPA的主要创新在于将图连接基因块作为预测单元，区别于传统的单基因预测方法，能够更有效地捕捉基因间的协同作用和生物学信息。

关键设计：在网络设计中，采用了线性注意力机制以避免构建二次方的基因-基因注意力矩阵。此外，实验中在hPancreas实验中使用了批量大小为8的设置，BioM-JEPA在微调和嵌入吞吐量上均显著优于基线模型scFoundation。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，BioM-JEPA在CellBench任务中实现了最低的聚合扰动响应误差，并在hPancreas实验中提供了5.75倍的微调吞吐量和3.76倍的嵌入吞吐量，相较于基线模型scFoundation表现出显著的性能提升。

🎯 应用场景

BioM-JEPA的研究成果在单细胞生物学中具有广泛的应用潜力，尤其是在基因表达分析、疾病机制研究和个性化医疗等领域。通过更准确地捕捉基因间的协同作用，该方法能够为生物医学研究提供更深入的见解，推动相关领域的发展。

📄 摘要（原文）

Single-cell transcriptomes are sparse observations of coordinated biological programmes, yet most self-supervised models learn by reconstructing individual genes. Here we present BioM-JEPA, a joint-embedding predictive architecture that instead predicts aggregate representations of graph-connected gene blocks defined by protein-association and corpus-derived coexpression evidence. A student network infers each target-block representation from the remaining genes in a cell, while a slowly updated teacher supplies the corresponding target from the full observed gene set. Under the reported extraction procedure, block-level prediction produced embeddings with higher effective rank and weaker association with detected-gene depth in the tested diagnostics than token-prediction, random-block and reconstruction controls. Across CellBench tasks, frozen BioM-JEPA embeddings retained expression, pathway and neighbourhood information and achieved the lowest aggregate perturbation-response error among the evaluated models. Representation diagnostics were also consistent with canonical pancreatic programmes and compositional relationships between genetic perturbations. Linear attention avoids constructing a quadratic gene-by-gene attention matrix; in a matched one-epoch hPancreas experiment at batch size 8, BioM-JEPA provided 5.75-fold higher fine-tuning throughput and 3.76-fold higher held-out embedding throughput than scFoundation. Together, these results support graph-connected gene blocks as useful prediction units for JEPA-style representation learning in single-cell biology.