GeoNatureAgent Benchmark: Benchmarking LLM Agents for Environmental Geospatial Analysis Across Frontier and Open-Weight Foundation Models

📄 arXiv: 2606.12821v1 📥 PDF

作者: Gabriel Diaz-Ireland, Diego Prieto-Herráez, Mario García Peces, Javier Velázquez, Devika Jain

分类: cs.AI, cs.ET

发布日期: 2026-06-11

备注: Preprint. 10 pages, 8 figures. Submitted to ACM SIGSPATIAL 2026

💡 一句话要点

提出GeoNatureAgent基准以评估环境地理空间分析的LLM代理

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 环境分析 地理空间数据 大型语言模型 基准评估 自动化工作流

📋 核心要点

  1. 现有的环境分析AI代理缺乏有效的验证基准，导致其在实际应用中的可靠性和有效性无法评估。
  2. 论文提出GeoNatureAgent基准，专注于通过结构化工具调用真实API进行环境分析，涵盖多种任务类型。
  3. 实验结果显示，Claude Sonnet 4在准确率上领先，开放权重模型在成本效益上表现突出，且现有GIS基准无法有效解决比较任务。

📝 摘要（中文）

环境科学家在数据处理上花费了过多精力，而自动化的地理空间工作流AI代理尚未得到验证。我们提出GeoNatureAgent基准，这是第一个针对通过结构化工具调用操作的环境分析代理的基准，涵盖93个任务和18个类别，涉及市政分析、多轮对话、空间推理等。我们评估了七个大型语言模型（LLMs），发现Claude Sonnet 4在准确率上领先，且开放权重模型在成本-准确率平衡上表现优异。该基准及自托管API已公开可用。

🔬 方法详解

问题定义：论文旨在解决环境分析AI代理缺乏有效验证基准的问题，现有方法在真实API调用和任务评估上存在不足。

核心思路：通过构建GeoNatureAgent基准，提供一个涵盖多种任务的评估框架，允许对LLM代理在真实环境数据上的表现进行系统性评估。

技术框架：基准包括93个任务，分为18个类别，涉及市政分析、空间推理等，使用一个开放的自托管API，支持多种环境指标的调用。

关键创新：首次引入结构化工具调用与真实API结合的评估方法，显著提高了对LLM代理的评估能力，尤其是在复杂任务上。

关键设计：实验中使用了七个LLM模型，采用温度1.0的随机种子进行评估，关注能力和每个案例成本的平衡，特别强调了开放权重模型的成本效益。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，Claude Sonnet 4的准确率为60.8%，领先于其他模型，DeepSeek V3.2以11倍更低的成本提供93%的能力。此外，比较任务的准确率为0%，揭示了现有模型在系统推理方面的局限性。

🎯 应用场景

该研究的潜在应用领域包括环境科学、城市规划和可持续发展等。通过提供一个标准化的评估基准，研究者和开发者可以更有效地开发和验证AI代理，从而推动环境数据分析的自动化和智能化，提升决策支持能力。

📄 摘要（原文）

Environmental scientists spend disproportionate effort on data wrangling rather than analysis, and AI agents that automate geospatial workflows remain unvalidated: no benchmark evaluates agents operating through structured tool calling against real APIs. We introduce the GeoNatureAgent Benchmark, the first benchmark for environmental analysis agents that operate via structured tool calls to a production-style geospatial API. It comprises 93 tasks across 18 categories, covering municipality analysis, multi-turn conversation, spatial reasoning, cross-indicator synthesis, error handling and recovery, ranking, comparison, multilingual understanding, habitat analysis, and task rejection. Tasks are evaluated against an open, self-hostable API serving three environmental indicators across Spain and Portugal via sixteen tools. We evaluate seven LLMs (Claude Sonnet 4, DeepSeek V3.2, GLM-5, Gemini 2.5 Pro, Qwen3-235B, GPT-OSS-120B, Llama 4 Scout) under three temperature-1.0 seeds, reporting capability and per-case cost as orthogonal axes. We find: (1) Claude Sonnet 4 leads at 60.8% +/- 0.8%, followed by DeepSeek V3.2 at 56.3% +/- 3.1%, with no other model above 51%; (2) the cost-accuracy Pareto frontier is occupied mostly by open-weight models, with DeepSeek V3.2 offering 93% of Claude's capability at 11x lower cost ($0.011/case); (3) comparison tasks remain universally unsolved (0% on close-value comparisons), exposing systematic reasoning limits; and (4) structured tool calling against a real API is more discriminative than general-purpose GIS benchmarks, with accuracies 25-35 points lower. We further show extensibility by integrating BigEarthNet V2 land cover for Portugal alongside Spanish CO2 and erosion indicators. The benchmark, harness, and self-hostable API are publicly available.