TerraBench: Can Agents Reason Over Heterogeneous Earth-System Data?
作者: Dat Tien Nguyen, Thao Nguyen, Fadillah Adamsyah Maani, Huy M. Le, Muhammad Umer Sheikh, Numan Saeed, Muhammad Haris Khan, Salman Khan
分类: cs.AI
发布日期: 2026-06-12
💡 一句话要点
提出TerraBench以解决异构地球系统数据推理问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 地球系统数据 异构数据推理 气候决策 大型语言模型 科学工具 基准测试 环境管理
📋 核心要点
- 现有的天气和气候模型在处理异构数据时存在局限，无法有效进行交互式推理。
- 论文提出TerraBench，通过结合LLM与科学工具，支持对多种地球系统数据的推理与处理。
- 实验结果表明，TerraBench在协调异构工作流和精确参数化工具方面表现出色，具有显著的应用潜力。
📝 摘要（中文）
气候与环境决策日益需要对异构输入进行推理，包括网格物理数据、卫星图像、地理空间上下文和模拟器输出。现有的天气和气候基础模型虽然能够进行良好的预测，但在语言交互推理方面存在不足；而大型语言模型（LLMs）虽然能够进行语言推理，但无法直接处理高维地球系统数据。因此，地球科学中的实际科学工作流程仍未得到充分支持。本文提出了TerraBench，这是一个基于TerraAgent的基准测试框架，旨在实现地球科学推理的基础。该框架将推理、工具调用和观察交织在一起，结合LLM规划与环境检索、地理空间处理、模拟和基于文献的计算等科学工具。TerraBench将地球观测图像、网格数据、GIS推理和模拟的分析统一在一个可执行接口中，填补了现有基准测试的空白。
🔬 方法详解
问题定义：本文旨在解决现有气候与环境决策模型在处理异构地球系统数据时的推理不足问题。现有方法往往无法有效结合不同类型的数据，导致科学工作流程的局限性。
核心思路：论文的核心思路是通过TerraBench基准测试框架，结合LLM与科学工具，实现对异构数据的有效推理与处理。这样设计的目的是为了提升地球科学领域的决策能力和工作效率。
技术框架：TerraBench的整体架构包括三个主要模块：基础任务、模拟器基础任务和文档基础验证，涵盖了403个任务和24,500个验证执行步骤。每个模块都针对特定的应用领域进行优化。
关键创新：该研究的关键创新在于首次将过程级工具使用指标与容忍度感知的数值评分相结合，打破了以往基准测试将能力孤立为狭窄任务的局限。
关键设计：在设计中，论文强调了工具的精确参数化和对文献的追溯，确保了数据处理的可靠性和可追溯性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，TerraBench在处理异构地球系统数据时，能够有效协调工作流，提升了工具的使用效率。与现有基准相比，TerraBench的执行步骤验证达到了24,500个，展现出显著的性能提升。
🎯 应用场景
TerraBench的研究成果具有广泛的应用潜力，尤其在气候变化监测、环境管理和资源分配等领域。通过提升对异构数据的处理能力，能够为科学家和决策者提供更为精准的支持，推动可持续发展目标的实现。
📄 摘要（原文）
Climate and environmental decision-making increasingly requires reasoning across heterogeneous inputs, including gridded physical data, satellite imagery, geospatial context, and simulator outputs. Weather and climate foundation models can forecast well, but do not reason interactively in language, while large language models (LLMs) reason in language but cannot operate directly on high-dimensional Earth-system data. As a result, real scientific workflows in Earth-science remain underserved. We introduce TerraBench, a benchmark for grounded Earth-science reasoning, built on TerraAgent, a ReAct-style executable framework that interleaves reasoning, tool calls, and observations to couple LLM planning with scientific tools for environmental retrieval, geospatial processing, simulation, and artifact-backed computation. TerraBench unifies analysis of Earth observation imagery, gridded data, GIS reasoning and simulation in a single executable interface, whereas prior benchmarks isolate these capabilities into narrow individual tasks. It is also the first in this space to pair process-level tool-use metrics with tolerance-aware numeric scoring. The benchmark comprises 403 extensive agentic tasks across three tracks (Fundamentals, Simulator-Grounded, and Document-Grounded Verification) and eight application domains with 24,500 verified execution steps. These results indicate that reliable Earth-science agents must go beyond tool access to coordinate heterogeneous workflows, parameterize tools precisely, and preserve artifact provenance.