LLM Agent Framework for Intelligent Change Analysis in Urban Environment using Remote Sensing Imagery

📄 arXiv: 2601.02757v1 📥 PDF

作者: Zixuan Xiao, Jun Ma

分类: cs.AI

发布日期: 2026-01-06

期刊: Automation in Construction 177 (2025) 106341 Automation in Construction 177 (2025) 106341 Automation in Construction 177 (2025) 106341 Automation in Construction 177 (2025) 106341 Automation in Construction 177 (2025) 106341

DOI: 10.1016/j.autcon.2025.106341

💡 一句话要点

提出ChangeGPT：基于LLM Agent的遥感影像城市环境智能变化分析框架

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 遥感影像 变化检测 大型语言模型 智能Agent 城市环境监测

📋 核心要点

  1. 现有变化检测方法难以应对复杂查询，缺乏智能分析能力，限制了其在实际场景中的应用。
  2. ChangeGPT通过集成LLM和视觉基础模型，构建分层Agent框架，提升了变化分析的智能性和通用性。
  3. 实验表明，ChangeGPT在多步骤推理和工具选择方面表现出色，匹配率高达90.71%，并在实际案例中验证了有效性。

📝 摘要（中文）

现有的变化检测方法通常缺乏处理多样化真实世界查询的通用性和进行全面分析的智能。本文提出了一个通用的Agent框架，集成了大型语言模型（LLM）与视觉基础模型，形成了ChangeGPT。采用分层结构来减轻幻觉问题。该Agent在一个包含140个问题的精选数据集上进行了评估，这些问题按真实世界场景分类，涵盖了各种问题类型（例如，大小、类别、数量）和复杂性。评估考察了Agent的工具选择能力（精确率/召回率）和整体查询准确率（匹配率）。ChangeGPT，特别是使用GPT-4-turbo作为后端时，表现出卓越的性能，实现了90.71%的匹配率。其优势尤其在于处理需要多步骤推理和稳健工具选择的与变化相关的查询。通过在深圳前海湾的真实城市变化监测案例研究进一步验证了其实际有效性。通过提供智能性、适应性和多类型变化分析，ChangeGPT为遥感应用中的决策提供了强大的解决方案。

🔬 方法详解

问题定义：现有变化检测方法难以处理真实世界中复杂多样的查询，缺乏进行综合分析的智能。它们通常是为特定任务或特定类型变化设计的，泛化能力有限，难以适应新的场景和需求。此外，现有方法在进行多步骤推理和利用外部工具方面存在不足，导致无法回答需要复杂逻辑的问题。

核心思路：本文的核心思路是利用大型语言模型（LLM）的强大推理和规划能力，结合视觉基础模型对遥感影像进行分析，构建一个智能Agent。该Agent能够理解用户的自然语言查询，并将其分解为一系列可执行的步骤，然后选择合适的工具（例如，目标检测、图像分割）来完成每个步骤，最终给出答案。这种方法将变化检测问题转化为一个智能决策问题，从而提高了其通用性和灵活性。

技术框架：ChangeGPT的整体架构是一个分层Agent框架，主要包含以下模块：1) Query Understanding Module: 负责解析用户输入的自然语言查询，提取关键信息和意图。2) Task Planning Module: 基于查询内容，将复杂任务分解为一系列子任务，并确定执行顺序。3) Tool Selection Module: 根据子任务的需求，选择合适的视觉基础模型或外部工具。4) Execution Module: 执行选定的工具，获取中间结果。5) Reasoning Module: 对中间结果进行推理和整合，生成最终答案。6) Hallucination Mitigation Module: 采用分层结构，通过中间结果验证和一致性检查，减少LLM的幻觉问题。

关键创新：ChangeGPT的关键创新在于将LLM引入遥感影像变化分析领域，构建了一个智能Agent框架。与传统的变化检测方法相比，ChangeGPT具有更强的通用性、灵活性和可解释性。它能够处理复杂多样的查询，进行多步骤推理，并利用外部工具来辅助分析。此外，ChangeGPT的分层结构有效地缓解了LLM的幻觉问题，提高了结果的可靠性。

关键设计：ChangeGPT的关键设计包括：1) 分层Agent结构：通过将任务分解为多个层次，降低了LLM的推理难度，并方便进行中间结果验证。2) 工具选择机制：设计了一个基于规则和学习的工具选择模块，能够根据子任务的需求选择合适的工具。3) 幻觉缓解策略：采用中间结果一致性检查和知识库验证等方法，减少LLM的幻觉问题。4) Prompt工程：针对不同的任务和工具，设计了合适的Prompt，引导LLM生成高质量的输出。

📊 实验亮点

ChangeGPT在包含140个问题的测试集上进行了评估，结果表明，使用GPT-4-turbo作为后端时，ChangeGPT的匹配率达到了90.71%。与传统的变化检测方法相比，ChangeGPT在处理需要多步骤推理和稳健工具选择的查询时表现出显著优势。此外，在深圳前海湾的真实城市变化监测案例研究中，ChangeGPT也取得了良好的效果，验证了其实际应用价值。

🎯 应用场景

ChangeGPT可应用于城市规划、环境监测、灾害评估等领域。例如，它可以用于监测城市扩张、植被覆盖变化、建筑物损毁情况等。通过提供智能化的变化分析，ChangeGPT可以帮助决策者更好地了解城市发展趋势，制定合理的规划方案，并及时应对突发事件。未来，ChangeGPT还可以与其他遥感数据源（如LiDAR、SAR）结合，实现更全面的城市环境监测。

📄 摘要（原文）

Existing change detection methods often lack the versatility to handle diverse real-world queries and the intelligence for comprehensive analysis. This paper presents a general agent framework, integrating Large Language Models (LLM) with vision foundation models to form ChangeGPT. A hierarchical structure is employed to mitigate hallucination. The agent was evaluated on a curated dataset of 140 questions categorized by real-world scenarios, encompassing various question types (e.g., Size, Class, Number) and complexities. The evaluation assessed the agent's tool selection ability (Precision/Recall) and overall query accuracy (Match). ChangeGPT, especially with a GPT-4-turbo backend, demonstrated superior performance, achieving a 90.71 % Match rate. Its strength lies particularly in handling change-related queries requiring multi-step reasoning and robust tool selection. Practical effectiveness was further validated through a real-world urban change monitoring case study in Qianhai Bay, Shenzhen. By providing intelligence, adaptability, and multi-type change analysis, ChangeGPT offers a powerful solution for decision-making in remote sensing applications.