Active-GRPO: Adaptive Imitation and Self-Improving Reasoning for Molecular Optimization

📄 arXiv: 2607.00531v1 📥 PDF

作者: Xuefeng Liu, Mingxuan Cao, Qinan Huang, Thomas Brettin, Rick Stevens, Le Cong

分类: cs.LG, cs.AI, q-bio.BM, stat.ML

发布日期: 2026-07-01

💡 一句话要点

提出Active-GRPO以解决分子优化中的推理效率问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 分子优化 主动推理 强化学习 策略优化 机器学习 科学推理 化学合成

📋 核心要点

  1. 现有的分子优化方法在推理效率和反馈稀疏性方面存在显著不足，导致多步推理能力受限。
  2. 本文提出Active-GRPO，通过主动模仿和自我强化的机制，动态调整学习策略以提升分子生成质量。
  3. 在TOMG-Bench MOLOPT上，Active-GRPO的平均SRxSim从0.0959和0.1665提升至0.1773，且在LogP、MR和QED上均有显著改善。

📝 摘要（中文）

科学推理是大型语言模型日益重要的能力，但提高此类推理的鲁棒性和训练效率仍然是一个关键挑战。本文研究了基于指令的分子优化问题，现有的仅回答监督微调(SFT)方法导致多步推理崩溃，而可验证奖励的强化学习(RLVR)则面临稀疏反馈问题。参考引导的策略优化通过将策略更新锚定到数据集提供的参考上来缓解这两个问题，但其有效性与参考质量紧密相关。为克服这一限制，本文提出了主动推理的范式，策略根据实例主动决定何时模仿参考，何时强化自身发现，并持续升级模仿对象。我们将这一范式实例化为Active Group Relative Policy Optimization (Active-GRPO)，通过主动模仿-强化和主动参考两个机制实现。实验结果表明，Active-GRPO在TOMG-Bench MOLOPT上显著提升了性能。

🔬 方法详解

问题定义：本文旨在解决基于指令的分子优化中推理效率低下和反馈稀疏的问题。现有的SFT方法导致多步推理崩溃，而RLVR则因反馈稀疏而难以有效训练。

核心思路：论文提出主动推理的范式，策略根据具体实例主动选择模仿参考或强化自身发现，从而在训练过程中不断升级模仿目标。

技术框架：Active-GRPO的整体架构包括两个主要模块：主动模仿-强化和主动参考。前者在参考表现优于策略生成的候选时进行模仿学习，后者则通过替换参考以提升模仿目标。

关键创新：最重要的创新在于动态调整模仿与自我强化的策略，使得参考指导在训练过程中始终保持信息性，而非限制性。这一设计突破了传统方法对参考质量的依赖。

关键设计：在实现中，Active-GRPO采用了特定的损失函数和参数设置，以确保模仿与自我强化的平衡，同时优化了网络结构以适应动态的参考更新。具体细节包括模仿阶段的奖励设计和自我发现阶段的反馈机制。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，Active-GRPO在TOMG-Bench MOLOPT上显著提升了性能，平均SRxSim从0.0959和0.1665提升至0.1773，且在LogP、MR和QED等指标上均取得了统计学上的显著提升，验证了其有效性。

🎯 应用场景

该研究的潜在应用领域包括药物发现、材料科学和化学合成等领域，能够有效提升分子生成的效率和质量。未来，Active-GRPO可能推动更多基于AI的分子优化技术的发展，促进科学研究的进步。

📄 摘要（原文）

Scientific reasoning is an increasingly important capability of large language models, yet improving the robustness and efficiency of training such reasoning remains a key open challenge. We study this problem in instruction-based molecular optimization, where answer-only supervised fine-tuning (SFT) collapses multi-step reasoning and reinforcement learning with verifiable rewards (RLVR) suffers from sparse feedback. Reference-guided Policy Optimization mitigates both by anchoring policy updates to dataset-provided references, but its effectiveness is tightly coupled to reference quality: weak or misaligned references impose a performance ceiling. To overcome this ceiling, we propose active reasoning, a paradigm in which the policy actively decides, on a per-instance basis, when to imitate a reference and when to reinforce its own discoveries, while continuously upgrading what it imitates. We instantiate this paradigm as Active Group Relative Policy Optimization (Active-GRPO), realized through two coupled mechanisms: active imitate-reinforce and active referencing. The former performs imitation learning when the reference still outperforms the policy's own candidates, and shifts to self-improvement via reinforcement learning once the policy has generated molecules that surpass the reference. The latter continuously upgrades the reference itself by replacing it with the best policy-generated candidate discovered so far, progressively raising the imitation target and ensuring that reference guidance remains informative-rather than restrictive-throughout training. Across TOMG-Bench MOLOPT, Active-GRPO improves average SRxSim from 0.0959 for GRPO and 0.1665 for RePO to 0.1773 under matched three-seed evaluation, with statistically significant gains on LogP, MR, and QED.