Goal2Pixel: Grounding Goals to Pixels for Vision-Language Navigation

📄 arXiv: 2606.01621 📥 PDF

作者: Muyi Bao, Yuxin Cai, Hang Xu, Zongtai Li, Jinxi He, Jingfan Tang, Chen Lv, Ji Zhang, Yaqi Xie, Wenshan Wang

分类: cs.CV, cs.RO

发布日期: 2026-06-12

💡 一句话要点

提出Goal2Pixel以解决视觉语言导航中的低效问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉语言导航 像素定位 机器人导航 长时间导航 多模态学习

📋 核心要点

  1. 现有的基于视觉语言模型的导航方法效率低下，主要依赖低级动作预测，导致模糊的导航指令和频繁的模型查询。
  2. Goal2Pixel通过将导航任务转化为可导航像素的定位，利用图像平面作为统一接口，简化了导航过程并提高了效率。
  3. 在R2R-CE Val-Unseen数据集上，Goal2Pixel实现了54.1%的SR和52.5%的SPL，且VLM调用次数显著低于传统方法，展示了其优越性。

📝 摘要（中文）

视觉语言模型（VLMs）已成为连续环境下视觉与语言导航的基础。然而，大多数基于VLM的方法将导航视为低级动作预测，这种接口模糊且与短期运动原语相关，效率低下。为此，本文提出了Goal2Pixel，这是一种纯像素基础的范式，将视觉语言导航重新定义为可导航像素的定位。Goal2Pixel通过预测可见的可导航像素，利用图像平面作为VLM推理与机器人运动之间的统一空间接口，从而实现前向导航。实验结果表明，Goal2Pixel在R2R-CE Val-Unseen数据集上取得了54.1%的成功率（SR）和52.5%的成功路径长度（SPL），同时每个回合仅需7.75次VLM调用，显著低于传统方法的需求。

🔬 方法详解

问题定义：本文旨在解决现有视觉语言导航方法在低级动作预测中的模糊性和效率低下的问题。传统方法需要频繁查询VLM，导致导航过程不够高效。

核心思路：Goal2Pixel的核心思想是将导航任务重新定义为可导航像素的定位，而非直接预测动作。通过这种方式，模型可以更有效地利用图像信息进行导航。

技术框架：整体架构包括图像平面作为导航接口，模型预测可见的可导航像素，并将其反投影到3D路径点。此外，针对非前向动作，模型在图像平面上附加辅助指令区域，分别表示左转、右转和停止。

关键创新：Goal2Pixel的主要创新在于其纯像素基础的导航方法，显著减少了VLM的调用次数，并通过引入可见性感知的关键帧记忆来实现长时间导航。

关键设计：在设计中，采用了语义嵌入和坐标感知的辅助损失函数，以适应预训练的VLM，并优化了模型的历史信息表示。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在R2R-CE Val-Unseen数据集上，Goal2Pixel实现了54.1%的成功率（SR）和52.5%的成功路径长度（SPL），每个回合仅需7.75次VLM调用，相比于传统方法的46.62次调用，效率提升显著，展示了其在视觉语言导航中的优势。

🎯 应用场景

Goal2Pixel的研究成果在智能机器人导航、自动驾驶、虚拟现实等领域具有广泛的应用潜力。通过提高导航效率和准确性，该方法能够为各种需要实时决策的场景提供支持，推动相关技术的发展。

📄 摘要（原文）

Vision-language models (VLMs) have become a common foundation for vision-and-language navigation in continuous environments (VLN-CE). Yet most VLM-based methods cast navigation as low-level action prediction, an interface that is ambiguous, tied to short-horizon motion primitives, and inefficient due to repeated VLM querying. We propose Goal2Pixel, a pure pixel-based paradigm that reformulates VLN-CE as navigable pixel grounding. Rather than predicting actions, Goal2Pixel uses the image plane as a unified spatial interface between VLM reasoning and robot motion: the model predicts a visible navigable pixel to the agent, which is back-projected into a 3D waypoint for forward navigation. For non-forward actions, we append auxiliary directive regions to the image plane, where the left/right/bottom regions are interpreted as turning left, turning right, and stopping, respectively. To enable long-horizon navigation, we propose a visibility-aware keyframe memory for compact and informative history representation. To adapt pretrained VLMs to navigable pixel grounding, we introduce semantic embeddings and coordinate-aware auxiliary losses. Goal2Pixel achieves competitive state-of-the-art performance while requiring fewer VLM inference calls than prior methods. On R2R-CE Val-Unseen it achieves 54.1% SR and 52.5% SPL with just 7.75 VLM calls per episode, 6x fewer than the 46.62 required by direct action prediction at 32.9% SR. The same trend holds onthis http URLPage:this https URL.