Air-Ground Collaborative Vision-and-Language Navigation via Shared Bird's-Eye Maps

📄 arXiv: 2609.03483v1 📥 PDF

作者: Shuning Zhang, Liang Li, Yunheng Wang, Tao Wang, Yihang Kang, Renjing Xu

分类: cs.RO, cs.AI

发布日期: 2026-09-03

备注: 8 pages, 5 figures

🔗 代码/项目: GITHUB

💡 一句话要点

提出AGC-VLN以解决空地协作视觉语言导航问题

🎯 匹配领域: 支柱六：视频提取与匹配 (Video Extraction) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉语言导航 无人机 地面车辆 协作机制 无训练方法 路径规划 空间推理 CARLA-Air

📋 核心要点

  1. 现有方法在空地协作视觉语言导航中缺乏有效的协作机制，导致性能不稳定。
  2. 本文提出AGC-VLN，通过无训练方法将导航任务分解为语义推理与几何执行，建立了协作接口。
  3. 在CARLA-Air的实验中，AGC-VLN实现77.0%的成功率，较单一代理提升了27.0%，显示出协作的优势。

📝 摘要（中文）

空地协作视觉语言导航（VLN）结合了无人机（UAV）的全球鸟瞰视图与无人地面车辆（UGV）的局部第一人称视图，但这一设置尚未得到充分探索。现有的无训练方法只能解决单一代理任务，缺乏协作机制。本文提出AGC-VLN，作为首个无训练的空地协作VLN基线，利用VLM基础的语义推理与确定性几何执行，将导航分解为两个部分，建立了协作接口。通过共享鸟瞰图，UGV获得全球空间上下文，规划路径并执行，而UAV则进行目标定位与飞行。实验结果显示，AGC-VLN在CARLA-Air的Town10HD场景中实现了77.0%的联合成功率，较单一代理提升了27.0%。

🔬 方法详解

问题定义：本文旨在解决空地协作视觉语言导航中的协作机制不足问题。现有方法无法有效实现UAV与UGV之间的协作，导致性能不佳。

核心思路：AGC-VLN的核心思路是将导航任务分解为基于VLM的语义推理和确定性几何执行，通过共享鸟瞰图实现UAV与UGV之间的协作。这样的设计使得UGV能够获取全球空间信息，从而更有效地规划和执行路径。

技术框架：整体架构包括UAV和UGV两个主要模块。UAV提供全球视图并渲染UGV的位置信息，而UGV则利用这一信息进行路径规划和执行。UAV还运行3D-SPF算法以定位目标并飞向目标。

关键创新：AGC-VLN的关键创新在于其无训练的协作机制，通过共享鸟瞰图实现了UAV与UGV的有效协作，显著提升了导航性能。这与现有方法的单一代理任务处理方式形成了鲜明对比。

关键设计：在设计中，UAV的全球视图与UGV的局部执行相结合，UGV在路径规划时使用冻结的VLM，确保了执行的稳定性和准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在CARLA-Air的Town10HD场景中，AGC-VLN实现了77.0%的联合成功率，较单一UAV的50.0%提升了27.0%，并超越了最强单一代理基线（Travel UAV，53.0%）24.0个百分点，显示出空地协作的显著优势。

🎯 应用场景

该研究在无人驾驶、智能物流和灾害救援等领域具有广泛的应用潜力。通过实现空地协作导航，能够提高任务执行的效率和安全性，尤其是在复杂环境中，UGV可以借助UAV的视角进行更精准的导航和决策。

📄 摘要（原文）

Air-ground collaborative Vision-and-Language Navigation (VLN) pairs an unmanned aerial vehicle (UAV) with a global bird's-eye view and an unmanned ground vehicle (UGV) with a local first-person view, yet the setting remains largely unexplored: existing training-free methods solve single-agent tasks but offer no collaboration mechanism, and a recent CARLA-Air evaluation found no stable cooperative behavior across five state-of-the-art VLA models; naive semantic communication or bidirectional coupling even degrades performance. We establish AGC-VLN (Air-Ground Collaborative VLN), the first training-free baseline for air-ground collaborative VLN. The key insight is that training-free methods decompose navigation into VLM-based semantic reasoning and deterministic geometric execution, exposing a collaboration interface: the UAV's global view, over which it renders the UGV's reported pose and the VLM-anchored target as CAR/GOAL markers with distance labels, yielding a shared bird's-eye map. From this map, the UGV acquires global spatial context its first-person view cannot provide, plans a road-following path with a frozen VLM, and executes it under closed-loop control; in parallel, the UAV runs 3D-SPF, a spatial-search upgrade of SPF that localizes the target in the downward view and flies toward it. On 100 closed-loop episodes in CARLA-Air's Town10HD scene, AGC-VLN reaches a 77.0% joint success rate, a collaboration gain of +27.0% over the weaker individual agent (the UAV, 50.0%), and exceeds the strongest published single-agent baseline (Travel UAV, 53.0%) by 24.0 points, stemming from the complementarity of the UAV's global view and the UGV's road-following execution. Project page: https://github.com/ZSN2024/AGC-VLN.