One Policy Is Enough: Single-Agent Reinforcement Learning Outperforms Tree Search for Chemistry Tool Learning

📄 arXiv: 2608.30952v1 📥 PDF

作者: Armin Dariani, Sifan Wu, Bang Liu, Entao Yang

分类: cs.LG, cs.CL

发布日期: 2026-08-31

💡 一句话要点

提出单一策略以超越树搜索解决化学工具学习问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 强化学习 化学工具 单一策略 蒙特卡洛树搜索 程序化奖励 模型优化 工具调用 化学信息检索

📋 核心要点

  1. 现有方法如CheMatAgent依赖于复杂的树搜索策略，导致计算效率低下和资源消耗高。
  2. 本文提出通过单一策略模型，简化推理和工具调用过程，提升了整体效率。
  3. 在ChemToolBench上，模型在Tool F1和Return F1上分别提升了5.5%和9.6%，显示出显著的性能优势。

📝 摘要（中文）

化学问题通常需要精确的计算和数据库查询，而语言模型无法仅依靠其参数提供这些信息，因此需要借助外部工具。工具使用涉及选择合适的工具、填充正确类型的参数以及将调用串联起来。CheMatAgent采用分层进化的蒙特卡洛树搜索（MCTS）来解决这一问题。本文展示了单一策略的有效性，通过左到右的生成方式将推理、工具调用和返回结果交织在一起，采用监督预热和基于结果的强化学习进行训练。实验表明，在ChemToolBench上，使用Qwen-2.5-7B和Llama-3.1-8B的模型分别提升了Tool F1和Return F1的表现。

🔬 方法详解

问题定义：本文旨在解决化学工具学习中的工具选择、参数填充和调用串联等复杂问题。现有方法如CheMatAgent依赖于树搜索，导致计算效率低下和资源消耗高。

核心思路：论文提出的核心思路是使用单一策略模型，通过左到右的生成方式将推理、工具调用和返回结果交织在一起，从而简化整个过程。

技术框架：整体架构包括一个单一策略模型，该模型在训练过程中通过监督学习进行预热，随后采用基于结果的强化学习进行优化，避免了学习批评者和评判者的复杂性。

关键创新：最重要的技术创新在于通过单一策略替代传统的树搜索方法，显著提高了效率和准确性，减少了计算资源的消耗。

关键设计：模型的训练采用了程序化奖励机制，直接从黄金调用链中读取，确保了训练过程的高效性和准确性。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果显示，在ChemToolBench上，使用Qwen-2.5-7B的模型在Tool F1上提升了5.5%，在Return F1上提升了9.6%；使用Llama-3.1-8B的模型分别提升了3.7%和3.9%。此外，该模型在Qwen-2.5-7B上还实现了最高的答案通过率，展现出优越的性能。

🎯 应用场景

该研究的潜在应用领域包括化学信息检索、药物设计和材料科学等。通过提高化学工具的学习效率，能够加速科学研究和开发过程，具有重要的实际价值和广泛的未来影响。

📄 摘要（原文）

Chemistry questions often demand exact computation and database lookups that a language model cannot supply from its parameters, so it must reach for external tools. Tool use here is a three-part problem: select the right tool from a large pool, fill it with correctly typed arguments, and chain calls so that each consumes the outputs of the last. CheMatAgent, a previously published system, addresses this with hierarchical evolutionary MCTS: separate policy and execution models searching tool-call trees under two learned critics, one regressed partly onto GPT-assigned scores. We show that a single policy suffices. Our model interleaves reasoning, tool calls, and returns in one left-to-right generation, trained by a supervised warm-up and then outcome-level reinforcement learning against a programmatic reward read directly off the gold call chain, which leaves no learned critic and no judge in the training loop. On ChemToolBench multiple-tool comprehensive chemistry, on both backbones CheMatAgent use, we improve Tool F1 by 5.5% and Return F1 by 9.6% on Qwen-2.5-7B, and by 3.7% and 3.9% on Llama-3.1-8B, compared with their strongest search configuration, at one model invocation per question, against a search whose cost grows with the tree; we also lead answer Pass Rate on Qwen-2.5-7B.