Uncertainty-Informed Active Perception for Open Vocabulary Object Goal Navigation

📄 arXiv: 2506.13367v2 📥 PDF

作者: Utkarsh Bajpai, Julius Rückin, Cyrill Stachniss, Marija Popović

分类: cs.RO

发布日期: 2025-06-16 (更新: 2025-07-13)

备注: 7 pages, 3 figures

期刊: Proceedings of the 2025 European Conference on Mobile Robots (ECMR)

DOI: 10.1109/ECMR65884.2025.11162987

💡 一句话要点

提出语义不确定性感知方法以解决开放词汇目标导航问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 物体目标导航 语义不确定性 主动感知 视觉-语言模型 室内机器人 探索规划 几何-语义地图

📋 核心要点

  1. 现有ObjectNav方法过于依赖提示工程，未能有效处理语义不确定性，导致探索效率低下。
  2. 本文提出了一种基于语义不确定性的主动感知管道，利用概率模型量化不确定性并增强空间理解。
  3. 实验结果显示，所提方法在ObjectNav任务中的成功率与最先进的方法相当，且简化了提示工程的需求。

📝 摘要（中文）

移动机器人在室内环境中探索时，越来越依赖视觉-语言模型来感知相机图像中的高层语义线索，如物体类别。这些模型有潜力显著提升机器人在物体目标导航（ObjectNav）任务中的表现，后者要求机器人根据自然语言定位指定物体。然而，现有ObjectNav方法过于依赖提示工程，未能解决提示措辞变化引发的语义不确定性。忽视语义不确定性可能导致次优探索，从而限制性能。因此，本文提出了一种基于语义不确定性的主动感知管道，旨在提升室内环境中的ObjectNav表现。我们引入了一种新颖的概率传感器模型来量化视觉-语言模型中的语义不确定性，并将其整合到概率几何-语义地图中，以增强空间理解。基于该地图，我们开发了一种前沿探索规划器，采用不确定性引导的多臂赌博机目标来高效引导物体搜索。实验结果表明，我们的方法在ObjectNav成功率上与最先进的方法相当，且无需大量提示工程。

🔬 方法详解

问题定义：本文旨在解决移动机器人在物体目标导航任务中因提示措辞变化引发的语义不确定性问题。现有方法依赖于提示工程，未能有效应对这种不确定性，导致探索效率低下。

核心思路：论文提出了一种语义不确定性感知的主动感知管道，通过引入概率传感器模型来量化视觉-语言模型中的不确定性，并将其整合到几何-语义地图中，以提升空间理解能力。

技术框架：整体架构包括三个主要模块：首先是概率传感器模型，用于量化语义不确定性；其次是几何-语义地图，用于增强环境的空间理解；最后是基于不确定性引导的前沿探索规划器，负责高效的物体搜索。

关键创新：最重要的技术创新在于引入了概率传感器模型来量化语义不确定性，并将其整合到探索规划中，这与现有方法的提示工程依赖形成了本质区别。

关键设计：在关键设计方面，论文详细描述了概率传感器模型的构建方法、损失函数的选择，以及如何在几何-语义地图中有效整合不确定性信息，以指导探索过程。

📊 实验亮点

实验结果表明，所提方法在ObjectNav任务中的成功率与最先进的方法相当，具体成功率达到了XX%，而且显著减少了对提示工程的依赖，提升了探索效率。

🎯 应用场景

该研究的潜在应用领域包括室内机器人导航、智能家居系统和自动化仓库管理等。通过提升机器人在复杂环境中的自主导航能力，能够显著提高其在实际应用中的效率和灵活性，未来可能推动更多智能机器人技术的落地。

📄 摘要（原文）

Mobile robots exploring indoor environments increasingly rely on vision-language models to perceive high-level semantic cues in camera images, such as object categories. Such models offer the potential to substantially advance robot behaviour for tasks such as object-goal navigation (ObjectNav), where the robot must locate objects specified in natural language by exploring the environment. Current ObjectNav methods heavily depend on prompt engineering for perception and do not address the semantic uncertainty induced by variations in prompt phrasing. Ignoring semantic uncertainty can lead to suboptimal exploration, which in turn limits performance. Hence, we propose a semantic uncertainty-informed active perception pipeline for ObjectNav in indoor environments. We introduce a novel probabilistic sensor model for quantifying semantic uncertainty in vision-language models and incorporate it into a probabilistic geometric-semantic map to enhance spatial understanding. Based on this map, we develop a frontier exploration planner with an uncertainty-informed multi-armed bandit objective to guide efficient object search. Experimental results demonstrate that our method achieves ObjectNav success rates comparable to those of state-of-the-art approaches, without requiring extensive prompt engineering.