How Post-Training Shapes Biological Reasoning Models
作者: Lukas Fesser, Hanlin Zhang, Michelle M. Li, Eric Wang, Bryan Perozzi, Shekoofeh Azizi, Sham M. Kakade, Marinka Zitnik
分类: cs.LG, q-bio.QM
发布日期: 2026-06-15
💡 一句话要点
研究后训练对生物推理模型的影响
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 生物推理 后训练 继续预训练 监督微调 强化学习 模型泛化 多模态数据
📋 核心要点
- 现有的生物推理模型在后训练阶段的性能提升机制尚不明确，导致模型可能出现过度专业化现象。
- 本文通过对生物推理模型的不同后训练阶段进行系统研究，提出了继续预训练、监督微调和强化学习的组合策略。
- 实验结果表明，继续预训练能有效提升下游性能，而强化学习则能改善模型的泛化能力，特别是在OOD任务上。
📝 摘要（中文）
生物科学推理模型结合了语言模型与基于多模态生物数据（如DNA、RNA和蛋白质）训练的基础模型。尽管这些模型通过后训练构建，但各阶段如何影响推理和泛化仍不清楚。本文研究了后训练何时改善性能，何时导致过度专业化。通过对基因组学、转录组学和蛋白质的100多个生物推理模型进行训练和评估，发现每个后训练阶段以不同方式重塑泛化能力。继续预训练（CPT）通过对齐生物语言提升下游性能，监督微调（SFT）提高了ID性能但导致OOD性能早期峰值后下降，而强化学习（RL）在强SFT检查点上应用时改善了OOD性能并部分恢复了泛化能力。这些结果表明，生物推理的性能并非随着监督或计算的增加而单调提升，而是依赖于训练阶段的组合方式。
🔬 方法详解
问题定义：本文旨在解决生物推理模型在后训练阶段性能提升机制不明确的问题，现有方法可能导致模型过度专业化，影响泛化能力。
核心思路：通过系统研究后训练的不同阶段（继续预训练、监督微调和强化学习），探索其对模型性能的影响，提出优化组合策略以提升模型的泛化能力。
技术框架：整体架构包括三个主要阶段：继续预训练（CPT）、监督微调（SFT）和强化学习（RL）。每个阶段针对模型的不同特性进行优化，确保模型在生物语言和任务上更好地对齐。
关键创新：本文的创新在于揭示了不同后训练阶段对模型泛化能力的独特影响，强调了性能提升并非单调的，而是依赖于训练阶段的组合方式。
关键设计：在继续预训练阶段，模型与生物语言对齐；监督微调阶段则专注于提高ID性能，但需注意避免过度拟合；强化学习阶段则在强SFT检查点上应用，优化奖励机制以改善OOD性能。具体参数设置和损失函数设计在实验中进行了详细探讨。
🖼️ 关键图片
📊 实验亮点
实验结果显示，继续预训练（CPT）显著提升下游任务性能，监督微调（SFT）提高ID性能但导致OOD性能下降，强化学习（RL）在SFT基础上改善OOD性能，整体表现出最佳的ID-OOD权衡。具体而言，短期SFT与较大RL分配的组合效果最佳。
🎯 应用场景
该研究对生物信息学、药物发现和基因组学等领域具有重要应用价值。通过优化生物推理模型的训练策略，可以提高模型在实际生物数据分析中的性能，推动生物科学研究的进展。
📄 摘要（原文）
Scientific reasoning models for biology combine language models with foundation models trained on multimodal biological data, including DNA, RNA, and proteins. These models are built through post-training, yet how each stage shapes reasoning and generalization remains poorly understood. We study when post-training improves performance and when it induces over-specialization. Across genomics, transcriptomics, and proteins, we train and evaluate more than 100 biological reasoning models under controlled variation in backbone, continued pre-training (CPT), supervised fine-tuning (SFT), and reinforcement learning (RL), measuring both in-domain (ID) and out-of-domain (OOD) performance. We find that each post-training stage reshapes generalization in a distinct way rather than contributing uniform gains. CPT improves downstream performance by aligning models with biological language. SFT consistently increases ID performance but causes OOD performance to peak early and decline as models fit the training distribution. RL, when applied to strong SFT checkpoints with aligned rewards, improves OOD performance and partially recovers generalization. These results show that biological reasoning does not improve monotonically with additional supervision or compute. Instead, performance depends on how training stages are composed. Under fixed post-training budgets, the strongest ID-OOD trade-off comes from brief SFT, larger RL allocations, and asymmetric adaptation capacity across stages.