Green for Go, Red for No: Visual Grounding via Semantic Segmentation for VLA Navigation Policies

📄 arXiv: 2607.05122v1 📥 PDF

作者: Adrian Szvoren, Dimitrios Kanoulas, Nilufer Tuptuk

分类: cs.CV, cs.RO

发布日期: 2026-07-06

备注: Accepted for RSS 2026 workshop

💡 一句话要点

提出基于语义分割的视觉定位方法以提升VLA导航策略

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉-语言-行动 语义分割 导航策略 机器人导航 实时处理

📋 核心要点

  1. 现有的VLA模型在导航过程中容易受到视觉干扰和场景解释模糊的影响，导致导航精度下降。
  2. 本文提出了一种基于SegFormer的实时语义分割方法，通过将可通行区域和不可通行区域进行颜色标记来增强视觉定位效果。
  3. 实验结果显示，视觉定位方法在最远航点的平均误差降低了27-44%，尤其在长指令下效果更为显著，且有效减少了预测路径长度。

📝 摘要（中文）

视觉-语言-行动（VLA）模型使机器人能够根据自然语言和视觉目标进行导航，但仍然容易受到感知干扰和模糊场景解释的影响。本文首次对VLA导航策略的视觉定位进行了实证评估，提出了一种实时的基于分割的定位方法，使用SegFormer将可通行区域标记为绿色，不可通行区域标记为红色。通过在Grand Tour数据集上使用OmniVLA进行实验，结果表明视觉定位在最远航点的平均航点误差降低了27-44%，且对于长指令的提升效果更为显著。归一化误差分析表明，视觉定位主要作为轨迹长度的正则化器，减少了预测路径长度30%。

🔬 方法详解

问题定义：本文旨在解决VLA导航策略在面对感知干扰和模糊场景解释时的导航精度问题。现有方法在处理复杂场景时表现不佳，导致导航错误。

核心思路：论文提出的解决方案是通过实时的语义分割方法来增强视觉定位，使用颜色标记可通行和不可通行区域，从而提高导航的准确性和鲁棒性。

技术框架：整体架构包括数据输入、SegFormer模型进行语义分割、颜色标记处理以及最终的导航决策模块。该框架能够实时处理视觉信息并进行有效的导航决策。

关键创新：最重要的技术创新在于将语义分割与导航策略结合，通过颜色标记的方式直观地指示可通行区域，显著提升了导航的准确性。与传统方法相比，该方法无需重新训练模型，具有更高的实用性。

关键设计：在技术细节上，使用SegFormer进行语义分割，设置了特定的损失函数以优化分割效果，同时在数据处理阶段引入了观察-目标增强的策略，以提高模型的适应性。实验中还进行了归一化误差分析，以评估视觉定位的效果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，视觉定位方法在最远航点的平均航点误差降低了27-44%，尤其在长指令下效果显著。此外，视觉定位还有效减少了预测路径长度30%，显示出其作为轨迹长度正则化器的作用。

🎯 应用场景

该研究的潜在应用领域包括自主导航机器人、智能家居系统以及增强现实等场景。通过提升VLA模型的导航能力，能够在复杂环境中实现更高效的路径规划和决策，具有广泛的实际价值和未来影响。

📄 摘要（原文）

Vision-language-action (VLA) models enable robot navigation from natural language and visual goals, but remain susceptible to perceptual distractions and ambiguous scene interpretations. This paper presents the first empirical evaluation of visual grounding for VLA navigation policies. We propose a real-time segmentation-based grounding method that highlights traversable areas in green and non-traversable areas in red using SegFormer. Two variants are evaluated: observation-only segmentation and joint observation-goal augmentation. Using OmniVLA on the Grand Tour dataset, we show that visual grounding reduces the mean waypoint error by 27-44% at the farthest waypoint, depending on the instruction length. The benefits are greater for long instructions than for short instructions, and grounding provides little improvement for image goals. Normalized error analysis indicates that grounding primarily acts as a trajectory length regularizer, reducing the predicted path length by 30% without improving per-unit-distance reasoning. Our results indicate that visual grounding offers a simple, computationally inexpensive method to improve VLA navigation without model retraining, although it cannot compensate for missing training signals in out-of-distribution instructions.