GrabVG: Graph-Attentive Binding for Visual Grounding in UAV Imagery
作者: Chaowei Wang, Yan Di, Jingjun Sun, Baozhe Liu, Jiaxu Tian, Yuheng Li, Guangqian Guo, Shan Gao
分类: cs.CV, cs.AI
发布日期: 2026-08-19
💡 一句话要点
提出GrabVG以解决无人机图像中的视觉定位问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视觉定位 无人机图像 图注意力 自然语言处理 空间推理 目标检测 深度学习
📋 核心要点
- 现有方法在处理无人机图像中的小物体和视觉相似性时，难以有效区分实例差异，导致定位不准确。
- 本文提出GrabVG框架，通过预注意假设搜索和图注意特征绑定，提升视觉定位的准确性和效率。
- 在AerialVG和AerialSense数据集上，GrabVG分别达到了67.31%和80.34%的Acc@0.5，超越基线10.55和8.76个百分点。
📝 摘要（中文）
无人机图像中的视觉定位旨在根据自然语言描述在复杂的鸟瞰场景中定位目标物体。然而，密集分布的小物体和视觉相似性导致了高视觉冗余，同时重复的局部配置造成了强烈的拓扑模糊。现有方法主要关注视觉与语言特征的对齐或密集上下文交互，但在区分微妙的实例差异和有效利用空间拓扑结构方面存在困难，导致在拥挤场景中的定位不准确。为了解决这些挑战，本文提出了GrabVG，一个受人类视觉搜索启发的新型视觉定位框架。GrabVG将定位明确分解为两个顺序阶段：预注意假设搜索和图注意特征绑定。通过提炼引导的提案诱导和文本感知的假设过滤，生成可靠的物体假设，从而显著减少背景干扰和语义不匹配。将这些假设组织成稀疏图，通过图注意力共同绑定和传播语言引导的视觉线索和拓扑关系，实现高效的空间推理和准确的目标定位。
🔬 方法详解
问题定义：本文旨在解决无人机图像中的视觉定位问题，现有方法在处理密集分布的小物体和视觉相似性时，难以有效区分实例差异，导致定位不准确。
核心思路：GrabVG框架的核心思路是将视觉定位过程分为两个阶段：首先进行预注意假设搜索，以生成可靠的物体假设；然后通过图注意特征绑定，结合语言信息和视觉线索进行准确定位。
技术框架：GrabVG的整体架构包括两个主要模块：预注意假设搜索模块和图注意特征绑定模块。预注意假设搜索通过提炼引导和文本感知过滤生成物体假设，图注意特征绑定则通过图注意力机制实现特征的有效结合与传播。
关键创新：GrabVG的创新点在于引入了图注意力机制，有效地结合了语言引导的视觉线索和拓扑关系，提升了空间推理能力，与现有方法相比，能够更好地处理复杂场景中的定位任务。
关键设计：在设计中，采用了提炼引导的提案诱导和文本感知的假设过滤技术，确保生成的假设具有较高的可靠性，同时在图注意力机制中，设计了合适的参数设置以优化特征绑定过程。
🖼️ 关键图片
📊 实验亮点
实验结果显示，GrabVG在AerialVG和AerialSense数据集上分别达到了67.31%和80.34%的Acc@0.5，较基线提升了10.55和8.76个百分点，展现了良好的准确性与速度平衡。
🎯 应用场景
该研究的潜在应用领域包括无人机监控、环境监测、农业监测等场景，能够有效提升目标物体的定位精度，具有重要的实际价值。未来，GrabVG框架可扩展至其他视觉任务，如视频分析和自动驾驶等，进一步推动相关领域的发展。
📄 摘要（原文）
Visual grounding in Unmanned Aerial Vehicle (UAV) imagery aims to localize a target object in complex bird's-eye-view scenes according to a natural language description. However, the abundance of small, densely distributed, and visually similar objects creates high visual redundancy, while repetitive local configurations give rise to strong topological ambiguity. Existing approaches mainly focus on visual--language feature alignment or dense contextual interaction, yet they struggle to distinguish subtle inter-instance differences and effectively exploit spatial topological structures, leading to inaccurate grounding in highly crowded scenarios. To address these challenges, we propose $\textbf{GrabVG}$, a novel visual grounding framework inspired by human visual search. GrabVG explicitly decomposes grounding into two sequential stages: $\textit{preattentive hypothesis search}$ and $\textit{graph-attentive feature binding}$. Specifically, we first generate a compact set of reliable object hypotheses through distillation-guided proposal induction and text-aware hypothesis filtering, substantially reducing background distractions and semantic mismatches. These hypotheses are then organized into a sparse graph, where language-guided intra-instance visual cues and inter-instance topological relationships are jointly bound and propagated via graph attention, enabling efficient spatial reasoning and accurate target localization. Extensive experiments on AerialVG and AerialSense show that GrabVG achieves a favorable accuracy--speed trade-off, reaching 67.31$\%$ and 80.34$\%$ Acc@0.5 and outperforming the corresponding baselines by 10.55 and 8.76 percentage points, respectively.