Advancing MLLM-based UAV Image Understanding and Reasoning: A Benchmark and a Training-Free Multi-Agent System

📄 arXiv: 2608.11738v1 📥 PDF

作者: Haoyu Zhang, Shuoxun Zhang, Peng Ye, Lin Zhang, Jiakang Yuan, Shenghong Yi, Yuening Wang, Tao Chen

分类: cs.CV, cs.AI

发布日期: 2026-08-12

💡 一句话要点

提出UAV-MAS以解决无人机图像理解与推理问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 无人机图像理解 多模态大语言模型 多智能体系统 领域特定感知 上下文感知推理 自适应搜索机制 图像推理评估

📋 核心要点

  1. 现有方法在无人机图像理解与推理中存在评估碎片化和能力不足的问题，难以统一评估。
  2. 本文提出UAV-MAS，一个无训练的多智能体系统，结合领域特定感知引擎和上下文感知迭代优化模块，提升推理准确性。
  3. UAV-MAS在UAVQA-Bench上取得77.0%的整体准确率，超越Gemini 3 Pro 4.0%，8B变体较基线提升8.7%。

📝 摘要（中文）

基于多模态大语言模型（MLLM）的无人机航拍图像理解与推理对于空中智能至关重要，但面临极端尺度变化、任意相机方向和高物体密度等挑战。现有评估方法分散，缺乏统一的无人机理解与推理能力评估。为此，本文构建了UAVQA-Bench基准，包含1500个人工标注的问答对，涵盖6个能力维度和16个任务。基于评估结果，提出了UAV-MAS，一个无训练的多智能体系统，旨在提高无人机图像理解与推理的准确性。

🔬 方法详解

问题定义：本文旨在解决无人机图像理解与推理中的评估碎片化和能力不足问题。现有方法在面对复杂场景时，常常出现领域工具集不匹配、错误传播未被控制和静态推理等痛点。

核心思路：论文提出的UAV-MAS系统通过无训练的多智能体架构，结合领域特定感知引擎（DSPE）和上下文感知迭代优化模块（CAIR），有效提升推理过程中的准确性和灵活性。

技术框架：UAV-MAS的整体架构包括三个主要模块：领域特定感知引擎（DSPE）负责将查询路由到适当的视觉工具；上下文感知迭代优化模块（CAIR）用于验证中间推理以减少错误积累；难度感知自适应搜索机制（DAAS）根据问题难度调整搜索深度。

关键创新：UAV-MAS的最大创新在于其无训练的多智能体设计，能够动态适应不同任务需求，显著改善了现有方法在复杂场景中的表现。

关键设计：系统中采用了特定的参数设置和模块设计，如CAIR模块的迭代验证机制和DAAS的自适应搜索策略，这些设计确保了系统在处理多样化问题时的高效性和准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

UAV-MAS在UAVQA-Bench上取得77.0%的整体准确率，超越Gemini 3 Pro 4.0%。此外，8B变体相比基线模型提升了8.7%，显示出显著的性能改进。

🎯 应用场景

该研究的潜在应用领域包括无人机监控、环境监测、灾害评估等，能够为相关行业提供高效的图像理解与推理能力，提升决策支持的智能化水平。未来，该技术有望在更广泛的无人机应用场景中发挥重要作用。

📄 摘要（原文）

Multimodal Large Language Model (MLLM)-based UAV aerial image understanding and reasoning is essential for aerial intelligence yet poses distinct challenges arising from extreme scale variation, arbitrary camera orientations, and high object density. Despite growing interest, existing evaluations remain fragmented across individual datasets and narrow tasks, leaving a critical gap in unified assessment of UAV understanding and reasoning capabilities. To fill this gap, we construct UAVQA-Bench, a benchmark of 1,500 human-annotated QA pairs drawn from 13 public UAV datasets, covering 6 capability dimensions and 16 tasks in both multiple-choice and visual grounding formats. Systematic evaluation of a broad range of open-source and closed-source MLLMs as well as agent-based systems on UAVQA-Bench identifies three key failure modes: domain-toolset mismatch, unchecked error propagation, and static reasoning. Motivated by these findings, we propose UAV-MAS, a training-free multi-agent system for MLLM-based UAV aerial image understanding and reasoning, comprising a Domain-Specific Perception Engine (DSPE) that routes queries to task-appropriate visual tools, a Context-Aware Iterative Refinement module (CAIR) that validates intermediate reasoning to curb error accumulation, and a Difficulty-Aware Adaptive Search mechanism (DAAS) that adjusts search depth to question difficulty. UAV-MAS with a 32B open-source MLLM achieves 77.0% overall accuracy on UAVQA-Bench, surpassing Gemini 3 Pro by 4.0\%, while the 8B variant improves 8.7\% over its base model.