GISAgentBench: A Practitioner-Sourced Benchmark for Evaluating LLM Agents on GIS Tasks
作者: Abhinav Pothuri, Zhe Jiang, Zelin Xu, Di Yang
分类: cs.AI
发布日期: 2026-08-03
💡 一句话要点
提出GISAgentBench以解决GIS任务评估的不足问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 地理信息系统 大型语言模型 多步骤任务 基准评估 空间分析
📋 核心要点
- 现有GIS代理基准数据集规模小且缺乏真实输出，无法有效评估LLM在GIS任务中的表现。
- 提出GISAgentBench基准，包含349个真实的GIS任务，提供可执行的参考轨迹和准确的真实输出。
- 实验结果表明，尽管LLM模型的输出接近真实值，但在严格评分下，完成率仍然较低，显示出GIS工作流的复杂性。
📝 摘要（中文）
地理信息系统（GIS）专业人员依赖多步骤空间分析工作流来支持城市规划、灾害响应和环境监测等决策。现有的GIS代理基准数据集主要来源于教科书和教程，缺乏真实的输出和足够的规模。为了解决这一问题，本文提出了GISAgentBench，一个包含349个多步骤GIS任务的基准，任务来源于GIS Stack Exchange，并基于六个选定的地理区域的真实公共数据进行实例化。每个任务都附带可执行的参考轨迹和准确的真实输出文件，从而实现严格的输出匹配。对六个大型语言模型（LLM）的评估显示，尽管大多数模型的输出接近真实值，但在严格的容忍度评分下，最佳代理仅完成32.7%的任务。
🔬 方法详解
问题定义：本文旨在解决现有GIS代理基准数据集缺乏真实输出和规模不足的问题，导致LLM在GIS任务评估中的表现难以准确衡量。
核心思路：通过引入GISAgentBench基准，利用来自GIS Stack Exchange的真实任务，提供可执行的参考轨迹和准确的真实输出，以确保评估的严谨性和可靠性。
技术框架：GISAgentBench的整体架构包括任务收集、数据实例化和输出匹配三个主要模块。任务从GIS Stack Exchange获取，并在六个地理区域上进行实例化，确保数据的多样性和真实性。
关键创新：最重要的创新在于提供了349个多步骤GIS任务的基准，并附带可执行的参考轨迹和真实输出文件，这在现有文献中尚属首次。
关键设计：在任务设计中，确保了任务的多样性和复杂性，采用严格的容忍度评分机制来评估LLM的输出与真实值之间的匹配程度。
🖼️ 关键图片
📊 实验亮点
实验结果显示，尽管大多数LLM模型的输出接近真实值，但在严格的容忍度评分下，最佳模型仅完成32.7%的任务。这表明，现实中的GIS工作流对LLM模型仍然构成挑战，亟需进一步的研究和改进。
🎯 应用场景
GISAgentBench的研究成果可广泛应用于城市规划、环境监测和灾害响应等领域，帮助GIS专业人员更高效地进行空间分析。同时，该基准的建立也为未来LLM在GIS领域的应用提供了重要的评估标准，推动相关技术的发展。
📄 摘要（原文）
Geographic Information System (GIS) professionals rely on multi-step spatial analysis workflows to support decision-making in urban planning, disaster response, and environmental monitoring. The process is tedious, time-consuming, and error-prone. While recent large language model (LLM) agents equipped with external tools have the potential to automate geospatial analysis, their ability to perform realistic GIS workflows remains largely unexplored. Existing GIS agent benchmarking datasets are mostly drawn from textbooks, tutorials, or LLM-generated seeds and remain limited in size and trajectory depth. More importantly, none provides ground truth outputs. They therefore rely on surrogate signals such as code similarity, trajectory matching, or LLM and VLM judges, which can conflate workflow resemblance with task correctness. To address this gap, we introduce GISAgentBench, a benchmark of 349 multi-step GIS tasks curated from GIS Stack Exchange and instantiated on real public data across six selected geographic areas of interest. Each task ships with an executable reference trajectory and an exact ground truth output file, enabling strict, deterministic, tolerance-aware output matching beyond LLM judging. Evaluations of six LLM models reveal that realistic GIS workflows remain challenging: the best agent completes only 32.7% of tasks under strict tolerance-aware scoring, although most models produce outputs that are close to the ground truth.