See-and-Reach: Precise Vision-Language Navigation for UAVs within the Field of View
作者: Fanfu Xue, En Yu, Yantian Shen, Zhikun Hu, Hongjun Wang, Yang Yang, Xindi Wang, Jiande Sun
分类: cs.CV, cs.AI
发布日期: 2026-06-18
备注: 12 pages, 7 figures
🔗 代码/项目: GITHUB
💡 一句话要点
提出UAV-VLN-FOV以解决无人机精确视觉语言导航问题
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱六：视频提取与匹配 (Video Extraction) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 无人机导航 视觉语言处理 三维运动 动态方向线索 高分辨率观察
📋 核心要点
- 现有的无人机视觉语言导航方法难以单独评估无人机在目标进入视野后的定位和运动能力。
- 本文提出UAV-VLN-FOV任务，聚焦于可见目标的导航，并引入3DG-VLN框架以提升视觉定位精度。
- 实验表明，3DG-VLN在成功率上较竞争基线提高了13.82%，并在实际试验中表现出良好的导航能力。
📝 摘要（中文）
无人机视觉语言导航（UAV-VLN）通常被视为一个整体的搜索与到达问题，难以评估无人机在目标进入视野后能否准确定位并进行精确的三维运动。为了解决这一限制，本文提出了UAV-VLN-FOV任务，专注于可见目标的导航，并引入了3DG-VLN框架，通过动态三维方向线索来增强视觉定位和空间方向对齐。3DG-VLN能够自适应处理高分辨率的前视和下视观察，实时更新目标相对方向，从而提高导航的精确性。实验结果表明，3DG-VLN在成功率上比现有基线提高了13.82%。
🔬 方法详解
问题定义：本文旨在解决无人机在视觉语言导航中，如何在目标进入视野后准确定位并进行精确三维运动的问题。现有方法将目标发现与接近过程结合，难以单独评估无人机的终端到达能力。
核心思路：提出UAV-VLN-FOV任务，专注于可见目标的导航阶段，并设计3DG-VLN框架，通过动态三维方向线索来增强视觉定位和空间方向对齐，从而提高导航精度。
技术框架：3DG-VLN框架包括高分辨率前视和下视观察的自适应处理模块，实时更新目标相对方向的闭环导航模块，以及用于目标定位的视觉引导模块。
关键创新：3DG-VLN的核心创新在于动态更新目标相对方向，解决了现有方法中方向漂移的问题，使得无人机能够更精确地跟踪目标。
关键设计：在设计中，采用高分辨率的观察数据来保留细致的视觉和几何信息，损失函数设计上注重于视觉定位的精确性和空间对齐的准确性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，3DG-VLN在成功率上比现有的无人机视觉语言导航基线提高了13.82%。在实际试验中，3DG-VLN展现了良好的导航能力，证明了其在复杂环境中的实用性和有效性。
🎯 应用场景
该研究的潜在应用领域包括无人机在复杂环境中的自主导航、搜索与救援任务以及物流配送等。通过提高无人机的导航精度，能够显著提升其在实际应用中的效率和可靠性，未来可能对无人机技术的发展产生深远影响。
📄 摘要（原文）
UAV Vision-Language Navigation (UAV-VLN) is typically formulated as a holistic search-and-reach problem, where long-range target discovery and final target approach are optimized and evaluated jointly. This formulation makes it difficult to assess a critical capability of aerial embodied agents, namely whether a UAV can accurately ground a visible target and translate vision-language evidence into precise 3D motion once the target enters its field of view. To address this limitation, we introduce UAV-VLN-FOV, a target-visible navigation task that isolates the see-and-reach stage and enables a more diagnostic evaluation of terminal reaching ability. We further propose 3DG-VLN, a vision-language waypoint prediction framework guided by dynamic 3D direction cues to enhance fine-grained visual grounding and spatial direction alignment for precise target reaching. Specifically, 3DG-VLN adaptively processes high-resolution front-view and downward-view observations to preserve fine-grained visual and geometric details for target grounding. It also updates the target-relative direction online during closed-loop navigation, allowing the agent to maintain spatial alignment with the target and reduce accumulated direction drift. To support this task, we construct a dedicated high-resolution benchmark which contains 2,717 trajectories with target-oriented high-level instructions, high-resolution front-view and downward-view egocentric observations, and continuous 3D waypoint annotations. Experiments show that 3DG-VLN outperforms competitive UAV-VLN baselines, achieving a 13.82\% improvement in success rate. Real-world trials further demonstrate the potential of 3DG-VLN for practical see-and-reach navigation. The source code and benchmark are available at https://github.com/xuefanfu/3DG-VLN.