Execution-grounded evaluation reveals hidden failures in language-model calculations for environmental science
作者: Maohao Ran, Chendong Ma, Yanting Zhang, Dailing Jiang, Yusen Huang, Meng Gao, Jun Song
分类: cs.CL
发布日期: 2026-08-19
备注: 29 pages, 4 figures, 2 tables, plus supplementary materials. Maohao Ran and Chendong Ma contributed equally. Corresponding author: Jun Song (junsong@hkbu.edu.hk). Code: https://github.com/acodercat/AtmosCoder-Bench
💡 一句话要点
提出AtmosCoder-Bench以揭示环境科学语言模型计算中的隐性错误
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 语言模型 环境科学 计算评估 多步骤计算 专家监督
📋 核心要点
- 现有评估方法仅关注最终答案，忽视了计算过程，导致无法发现模型在多步骤计算中的潜在错误。
- 本文提出AtmosCoder-Bench，通过可视化计算过程，验证每个问题的明确性和可解性，提升评估的全面性。
- 实验结果显示，选择题格式会显著提高准确率，且模型在应用已知公式时存在一致性问题，强调了专家监督的重要性。
📝 摘要（中文）
大型语言模型在环境科学中的定量工作中越来越常用，但现有评估仅关注最终答案，忽视了计算过程。本文提出AtmosCoder-Bench，一个执行基础的基准，使计算过程可见。通过一个可转移的半自动化流程构建（436个问题，3,910个变体，7,029个评分量），每个问题都经过验证，确保明确且可由人类解决，具有唯一可验证的答案。研究发现，选择题格式至少会使测量准确率膨胀12个百分点；许多失败并非由于缺乏知识，而是模型在多步骤计算中未能一致应用已知公式和约束；即使是前沿模型在任务特定条件下失效时，仍然表现较弱，往往回归到经典解决模式，而不是将方法适应相关物理领域，专家监督仍然至关重要。
🔬 方法详解
问题定义：本文旨在解决现有语言模型在环境科学计算中评估不足的问题，现有方法未能揭示计算过程中的潜在错误和模型的一致性问题。
核心思路：通过引入AtmosCoder-Bench，使计算过程可视化，确保每个问题的明确性和可解性，从而全面评估模型的计算能力。
技术框架：AtmosCoder-Bench构建了一个可转移的半自动化流程，包含436个问题及其3,910个变体，生成7,029个评分量，确保每个问题都有唯一可验证的答案。
关键创新：最重要的创新在于引入执行基础的评估方法，使得计算过程可见，能够揭示模型在多步骤计算中的一致性问题，与传统只关注最终答案的评估方法本质不同。
关键设计：在设计中，确保每个问题的明确性和人类可解性是关键，采用了独特的验证机制来保证答案的唯一性和可验证性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，选择题格式导致的准确率膨胀至少为12个百分点，且模型在多步骤计算中未能一致应用已知公式，强调了专家监督的重要性。这些发现为未来的模型设计和评估提供了重要的指导。
🎯 应用场景
该研究的潜在应用领域包括环境科学中的数据分析、政策制定和教育等。通过提高语言模型在复杂计算中的可靠性，能够为科学研究和决策提供更为准确的支持，未来可能影响环境监测和管理的方式。
📄 摘要（原文）
Large language models are increasingly used for quantitative work in the environmental sciences, yet existing evaluations score only final answers, leaving calculation process unobserved. Here we introduce AtmosCoder-Bench, an execution-grounded benchmark that makes the calculation process visible. Built through a transferable semi-automated pipeline (436 problems, 3,910 variants, 7,029 graded quantities), every problem is validated to be unambiguous and human-solvable, with uniquely verifiable answers. We find that (i) multiple-choice formats inflate measured accuracy by at least 12 percentage points; (ii) many failures arise not from missing knowledge but from models failing to apply known formulas and constraints consistently throughout multi-step computation; and (iii) even frontier models remain weak when task-specific conditions invalidate familiar methods, often reverting to canonical solution patterns rather than adapting methods to the relevant physical regime, leaving expert oversight essential.