LandslideAgent with Multimodal LandslideBench: A Domain-Rule-Augmented Agent for Autonomous Landslide Identification and Analysis
作者: Chengfu Liu, Dongyang Hou, Junwu Xiang, Cheng Yang, Xuezhi Cui, Zeyuan Wang, Liangtian Liu, Zelang Miao
分类: cs.CV, cs.AI
发布日期: 2026-06-17
💡 一句话要点
提出LandslideAgent以解决滑坡自动识别与分析问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 滑坡识别 多模态数据集 视觉语言模型 智能代理 灾害预防 地质语义理解
📋 核心要点
- 现有滑坡识别方法在视觉特征提取和地质语义理解上存在局限，导致灾害预防效果不佳。
- 本文提出了一个包含多模态数据集和领域规则增强的智能代理框架，以提高滑坡识别的准确性和效率。
- 实验结果显示，LandslideVLM在滑坡识别和细粒度分类上分别提升了10.96%和32.87%的准确率，验证了方法的有效性。
📝 摘要（中文）
智能滑坡灾害解读对于灾害预防至关重要，但现有方法在提取视觉特征和高层地质语义方面存在困难。为此，本文提出了一个指令驱动的代理框架，包括三个主要组件：LandslideBench，一个多模态细粒度数据集；LandslideVLM，一个针对滑坡的视觉语言模型；以及LandslideAgent，一个增强领域规则的智能代理。实验表明，LandslideBench为五个主流模型提供了有效的基线，LandslideVLM在滑坡识别和细粒度分类上分别提高了10.96%和32.87%的准确率，LandslideAgent实现了滑坡识别与分析的全流程智能化。
🔬 方法详解
问题定义：本文旨在解决滑坡自动识别与分析中的视觉特征提取和地质语义理解不足的问题。现有的通用视觉语言模型在复杂地质场景中存在感知限制和领域幻觉，影响了滑坡灾害的智能解读。
核心思路：提出一个指令驱动的代理框架，结合多模态数据集和领域规则，增强滑坡识别的准确性和智能化水平。通过构建LandslideBench数据集和LandslideVLM模型，提升对滑坡的理解和分析能力。
技术框架：整体框架包括三个主要模块：首先，构建LandslideBench数据集，包含七个子类型标签和高质量的图像及文本描述；其次，基于该数据集对LandslideVLM进行微调；最后，利用LandslideAgent进行自动化工具调用和滑坡分析。
关键创新：最重要的创新在于结合了领域规则和多模态数据，形成了一个增强的智能代理，能够在滑坡识别中实现更高的准确性和智能化处理，与现有方法相比具有显著的优势。
关键设计：在模型训练中，采用LoRA进行微调，设置了结构化报告元数据约束和交叉验证识别约束，以优化自动化工具的调用过程。
🖼️ 关键图片
📊 实验亮点
实验结果显示，LandslideBench为五个主流模型提供了有效的基线，LandslideVLM在滑坡识别、细粒度分类和语义描述质量上分别提高了10.96%、32.87%和15.91%的准确率，验证了方法的有效性和优越性。
🎯 应用场景
该研究的潜在应用领域包括自然灾害监测、地质灾害预警系统以及环境保护等。通过实现滑坡的智能识别与分析，能够为灾害管理提供更为精准的数据支持，提升应急响应能力，减少人员和财产损失。未来，该技术有望扩展到其他类型的地质灾害监测与分析中。
📄 摘要（原文）
Intelligent landslide hazard interpretation is critical for disaster prevention, yet current paradigms struggle to simultaneously extract visual features and high-level geoscientific semantics, while general-purpose vision-language models (VLMs) suffer from perceptual limitations and domain hallucinations in complex geological scenarios. To address these challenges, we propose an instruction-driven agentic framework comprising three components. First, LandslideBench, a multimodal fine-grained dataset with seven subtype labels, high-resolution imagery, pixel-level masks, and high-quality textual descriptions, is constructed via multi-VLM cross-validation and interactive annotation. Then, LandslideVLM, a landslide-oriented VLM, is fine-tuned via LoRA on LandslideBench to enhance geological semantic understanding. Finally, LandslideAgent, a domain rule-enhanced agent taking LandslideVLM as its cognitive backbone, employs a dual-rule controller incorporating structured report metadata constraints and cross-validation identification constraints to regulate automated tool invocation. Experiments demonstrate that LandslideBench provides effective baselines across five mainstream models on fine-grained classification and semantic segmentation. LandslideVLM achieves accuracy improvements of 10.96%, 32.87%, and 15.91% on landslide discrimination, fine-grained classification, and semantic description quality, respectively. LandslideAgent further enables autonomous multi-source spatial data inference, realizing full-process intelligence for landslide identification and analysis.