GeoNatureAgent Benchmark: Benchmarking LLM Agents for Environmental Geospatial Analysis Across Frontier and Open-Weight Foundation Models

📄 arXiv: 2606.12821 📥 PDF

作者: Gabriel Diaz-Ireland, Diego Prieto-Herráez, Mario García Peces, Javier Velázquez, Devika Jain

分类: cs.AI, cs.ET

发布日期: 2026-06-12

💡 一句话要点

提出GeoNatureAgent基准以评估环境地理空间分析的LLM代理

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 环境分析 地理空间 大型语言模型 基准测试 AI代理 结构化工具调用 成本效益

📋 核心要点

  1. 现有的环境分析AI代理缺乏有效的验证基准，导致其在实际应用中的可靠性不足。
  2. 论文提出了GeoNatureAgent基准，专注于通过结构化工具调用来评估环境分析代理的性能，涵盖多种任务类型。
  3. 实验结果表明，Claude Sonnet 4在准确性上表现最佳，而DeepSeek V3.2在成本效益方面具有显著优势，展示了基准的有效性。

📝 摘要（中文）

环境科学家在数据处理上花费了过多的精力，而自动化地理空间工作流的AI代理尚未经过验证。我们提出GeoNatureAgent基准，这是第一个针对通过结构化工具调用操作的环境分析代理的基准，涵盖93个任务和18个类别，评估七种大型语言模型（LLM）的能力和成本。实验结果显示，Claude Sonnet 4在准确率上领先，而DeepSeek V3.2在成本效益上表现优异。该基准及自托管API已公开可用。

🔬 方法详解

问题定义：论文旨在解决现有环境分析AI代理缺乏有效验证基准的问题，现有方法在实际应用中表现不佳，无法满足环境科学家的需求。

核心思路：提出GeoNatureAgent基准，通过结构化工具调用与真实API交互，评估环境分析代理的能力，确保其在实际应用中的有效性和可靠性。

技术框架：该基准包含93个任务，分为18个类别，涵盖市政分析、多轮对话、空间推理等，使用开放的自托管API，提供三种环境指标。

关键创新：首次引入针对环境分析代理的基准，强调结构化工具调用的必要性，与传统的通用GIS基准相比，提供了更具区分度的评估标准。

关键设计：实验中评估了七种LLM模型，采用三种温度设置，报告能力和每个案例成本，特别关注成本-准确性权衡。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，Claude Sonnet 4在准确率上达到60.8%，而DeepSeek V3.2以11倍更低的成本提供93%的能力。比较任务的准确率为0%，揭示了系统推理的局限性，表明该基准在评估AI代理时的有效性。

🎯 应用场景

该研究的潜在应用领域包括环境科学、城市规划和生态监测等。通过提供一个有效的基准，研究者和开发者可以更好地评估和优化AI代理在环境分析中的应用，推动相关技术的发展和实际应用。

📄 摘要（原文）

Environmental scientists spend disproportionate effort on data wrangling rather than analysis, and AI agents that automate geospatial workflows remain unvalidated: no benchmark evaluates agents operating through structured tool calling against real APIs. We introduce the GeoNatureAgent Benchmark, the first benchmark for environmental analysis agents that operate via structured tool calls to a production-style geospatial API. It comprises 93 tasks across 18 categories, covering municipality analysis, multi-turn conversation, spatial reasoning, cross-indicator synthesis, error handling and recovery, ranking, comparison, multilingual understanding, habitat analysis, and task rejection. Tasks are evaluated against an open, self-hostable API serving three environmental indicators across Spain and Portugal via sixteen tools. We evaluate seven LLMs (Claude Sonnet 4, DeepSeek V3.2, GLM-5, Gemini 2.5 Pro, Qwen3-235B, GPT-OSS-120B, Llama 4 Scout) under three temperature-1.0 seeds, reporting capability and per-case cost as orthogonal axes. We find: (1) Claude Sonnet 4 leads at 60.8% +/- 0.8%, followed by DeepSeek V3.2 at 56.3% +/- 3.1%, with no other model above 51%; (2) the cost-accuracy Pareto frontier is occupied mostly by open-weight models, with DeepSeek V3.2 offering 93% of Claude's capability at 11x lower cost ($0.011/case); (3) comparison tasks remain universally unsolved (0% on close-value comparisons), exposing systematic reasoning limits; and (4) structured tool calling against a real API is more discriminative than general-purpose GIS benchmarks, with accuracies 25-35 points lower. We further show extensibility by integrating BigEarthNet V2 land cover for Portugal alongside Spanish CO2 and erosion indicators. The benchmark, harness, and self-hostable API are publicly available.