PHREEQC-MCQ-200: A Diagnostic Benchmark for Tool-Augmented Scientific Simulator Agents

📄 arXiv: 2607.00436v1 📥 PDF

作者: Ke Zhang, Sahchit Chundur, Mohammad Javad Qomi, Maziar Raissi

分类: cs.AI

发布日期: 2026-07-01

备注: 30 pages, 2 figures

💡 一句话要点

提出PHREEQC-MCQ-200基准以评估工具增强的科学模拟器代理

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 科学计算 工具增强 基准评估 水化学模拟 大型语言模型 输出访问协议 准确性评估

📋 核心要点

  1. 现有方法在科学计算中工具访问的可靠性与复杂性之间缺乏明确界定，导致评估结果不够全面。
  2. 论文提出PHREEQC-MCQ-200基准，通过200个多项选择题评估工具增强代理在水化学模拟中的表现，强调了模拟器访问的重要性。
  3. 实验表明，工具增强代理的整体准确性显著提高，但在某些情况下会出现回归现象，输出访问协议的设计对模型性能影响显著。

📝 摘要（中文）

随着大型语言模型代理与科学软件的连接日益增多，何时工具访问使科学计算更可靠仍不明确。本文提出PHREEQC-MCQ-200基准，用于评估在确定性水化学模拟中的工具增强代理。该基准包含200个多项选择题，基于21个经过验证的PHREEQC场景，要求代理构建模拟器输入、执行PHREEQC、检查结构化输出并提交最终答案。实验结果表明，模拟器访问显著提高了整体准确性，但增益并非单调，工具增强代理在没有工具的情况下也会失去正确答案，揭示了平均准确性所掩盖的回归现象。我们还展示了输出访问协议的重要性，目录界面可以降低令牌成本，同时保持或提高强模型的准确性，但对中等模型的性能产生负面影响。

🔬 方法详解

问题定义：本文旨在解决工具增强科学计算代理在复杂性与可靠性之间的平衡问题。现有方法未能全面评估工具访问对科学计算的影响，导致评估结果缺乏深度和广度。

核心思路：论文的核心思路是通过PHREEQC-MCQ-200基准，系统评估工具增强代理在水化学模拟中的表现，强调不仅要关注整体准确性，还要考虑具体问题的保留率和输出访问敏感性。

技术框架：整体架构包括多个模块：首先，代理构建模拟器输入；其次，执行PHREEQC模拟；然后，检查结构化输出；最后，提交最终答案。每个阶段都对代理的能力进行评估。

关键创新：最重要的技术创新在于将科学工具使用视为一个端到端的诊断问题，而不仅仅是简单的工具调用能力。这种视角使得评估更加全面，能够揭示潜在的回归现象。

关键设计：在实验中，设计了不同的输出访问协议，例如目录界面，以降低令牌成本并提高准确性。同时，针对不同模型的性能进行了细致的分析，确保评估结果的可靠性。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，工具增强代理的整体准确性显著提高，尤其是在强模型中，准确性提升幅度可达20%以上。然而，某些中等模型在没有工具的情况下表现出回归现象，强调了输出访问协议设计的重要性。

🎯 应用场景

该研究的潜在应用领域包括科学计算、环境模拟和教育等。通过提供一个系统的评估基准，研究者可以更有效地开发和优化工具增强的科学代理，从而推动科学研究的自动化和智能化进程，提升科学计算的可靠性和效率。

📄 摘要（原文）

Large language model agents are increasingly connected to scientific software, yet it remains unclear when tool access makes scientific computation more reliable rather than merely more complex. We introduce PHREEQC-MCQ-200, a benchmark for evaluating tool-augmented agents on deterministic aqueous-geochemistry simulations. The benchmark contains 200 multiple-choice questions derived from 21 validated PHREEQC scenarios, requiring agents to construct simulator inputs, execute PHREEQC, inspect structured outputs, and commit to final answers. Across multiple frontier and mid-tier model families, simulator access substantially improves aggregate accuracy, confirming that grounded execution is necessary for many scientific-computation tasks. However, the gains are not monotonic: tool-augmented agents also lose items they answered correctly without tools, revealing regressions that average accuracy alone hides. We further show that output-access protocol matters. A table-of-contents interface can reduce token cost while preserving or improving accuracy for stronger models, but it degrades performance for mid-tier models that cannot reliably navigate structured simulator outputs. PHREEQC-MCQ-200 therefore frames scientific tool use as an end-to-end diagnostic problem rather than a simple tool-calling capability. We argue that evaluations of scientific agents should report not only accuracy, but also item-level retention, output-access sensitivity, trajectory failures, and where the computation chain breaks.