PerturbCellRL: Verifier-Guided Reinforcement Learning for Single-Cell Perturbation Prediction

📄 arXiv: 2606.27752v1 📥 PDF

作者: Dongxia Wu, Mingyu Li, Yuhui Zhang, Anurendra Kumar, Emma Lundberg, Serena Yeung-Levy, Emily B. Fox

分类: cs.LG

发布日期: 2026-06-26

💡 一句话要点

提出PerturbCellRL以解决单细胞干扰预测问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 单细胞分析 强化学习 生物一致性 转录组生成 干扰预测 生物信息学

📋 核心要点

  1. 现有的单细胞干扰模型在群体水平的预测上有所进展，但缺乏对单个细胞生成结果的生物一致性检验。
  2. PerturbCellRL通过强化学习框架，利用细胞级验证器作为奖励，对预训练的生成器进行后训练，从而提高预测的生物一致性。
  3. 在多个基准测试中，PerturbCellRL在奖励对齐评估指标上表现优异，且在群体水平的性能上与最先进的方法相当。

📝 摘要（中文）

单细胞干扰模型能够通过预测细胞对干预的转录反应，减少昂贵的湿实验筛选。尽管近期生成模型在群体水平的预测上有所改善，但单个生成细胞的生物一致性并未得到明确检验。本文提出PerturbCellRL，一个强化学习框架，通过一系列细胞级验证器作为奖励，对预训练的单细胞转录组生成器进行后训练。这些验证器定义了四种奖励：Pearson top-k相似度、RMSE top-k接近度、DE Spearman和通路活性。我们在多个遗传和化学干扰基准上评估了PerturbCellRL，结果显示其在奖励对齐评估指标和保留评估指标上均优于预训练的流匹配生成器，并在群体水平指标上与最先进的方法保持竞争力。

🔬 方法详解

问题定义：本文旨在解决现有单细胞干扰模型在生成细胞时缺乏生物一致性检验的问题。现有方法主要关注群体水平的预测，未能有效验证单个细胞的生物学合理性。

核心思路：PerturbCellRL通过引入强化学习框架，利用细胞级验证器作为奖励机制，后训练预训练的单细胞转录组生成器，以确保生成细胞的生物一致性。

技术框架：该框架包括预训练的生成器和多个细胞级验证器。生成器负责生成细胞转录组数据，而验证器则根据生物学特征对生成结果进行评估，反馈奖励信号以优化生成器。

关键创新：PerturbCellRL的创新在于将强化学习与细胞级验证结合起来，形成了一种新的生成对齐方法，超越了传统的表达分布匹配，确保了生成细胞的生物一致性。

关键设计：在设计上，PerturbCellRL使用了四种奖励机制，包括Pearson top-k相似度、RMSE top-k接近度、DE Spearman和通路活性，确保生成的细胞在多维度上符合生物学预期。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

PerturbCellRL在多个遗传和化学干扰基准测试中表现出色，相较于预训练的流匹配生成器，在奖励对齐评估指标上有显著提升。此外，该方法在群体水平的性能上与当前最先进的方法保持竞争力，展示了其有效性。

🎯 应用场景

该研究具有广泛的应用潜力，尤其在生物医学研究和药物开发领域。通过提高单细胞干扰预测的生物一致性，PerturbCellRL能够帮助研究人员更有效地筛选潜在的治疗干预，并加速新药的研发过程。

📄 摘要（原文）

Single-cell perturbation models can reduce costly wet-lab screening by predicting how cells respond transcriptionally to interventions. While recent generative models improve population-level prediction, individual generated cells are not explicitly checked for biological consistency. We introduce PerturbCellRL, a reinforcement learning (RL) framework that post-trains a pretrained single-cell transcriptomic generator using a suite of cell-level verifiers as rewards. These verifiers define four rewards: Pearson top-k similarity, RMSE top-k proximity, DE Spearman, and Pathway activity. The Pathway activity verifier rewards cells whose pathway responses match known perturbation biology. We evaluate PerturbCellRL on multiple genetic and chemical perturbation benchmarks. Across these benchmarks, PerturbCellRL improves over the pretrained flow-matching generator on reward-aligned evaluation metrics and a held-out evaluation metric. Moreover, PerturbCellRL remains competitive with state-of-the-art methods on population-level metrics. Together, these results frame trustworthy single-cell prediction as verifier-guided generative alignment, moving beyond matching expression distributions toward predictions whose single-cell perturbation effects are explicitly checked for biological consistency.