SAP-Nav: Spatial Semantic Representation Meets Active Perception for Hierarchical Open-Vocabulary Object Navigation
作者: Xuetong Pei, Jian Liu, Vidura Munasinghe, Bo Miao, U-Xuan Tan, Wenrui Ding, Na Zhao
分类: cs.RO
发布日期: 2026-08-13
💡 一句话要点
提出SAP-Nav以解决层次化开放词汇目标导航问题
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 开放词汇导航 主动感知 空间语义表示 机器人导航 层次化任务
📋 核心要点
- 现有方法在层次化开放词汇目标导航中面临部分观察下的空间定位和目标验证的挑战。
- SAP-Nav通过主动感知构建可查询的空间语义表示，支持从任何探索位置进行空间语义查询。
- 在LangMap和HM3D-OVON的实验中，SAP-Nav在区域级导航上比训练方法提高了12.2%的成功率。
📝 摘要（中文）
层次化开放词汇目标导航（OVON）要求智能体在未知环境中根据自由形式的指令进行导航，指令可能通过场景、房间、区域和实例级别的线索来指定目标。尽管近期的研究LangMap已对这一设置进行了形式化，但在部分观察下可靠地解决该问题仍然具有挑战性。我们提出了SAP-Nav，这是一个完全在线的零-shot框架，通过主动感知来满足空间语义查询和目标验证的需求。SAP-Nav从主动获取的房间视图中逐步构建可查询的空间语义表示，并通过主动视点验证来评估当前观察是否提供了足够的证据。实验表明，SAP-Nav在LangMap和HM3D-OVON上实现了最佳性能，特别是在区域级导航上比基于训练的方法提高了12.2%的成功率。实际机器人实验进一步验证了其可行性。
🔬 方法详解
问题定义：本论文旨在解决层次化开放词汇目标导航中的空间定位和目标验证问题。现有方法在部分观察下难以提供持久的环境证据，导致目标验证不够清晰和可区分。
核心思路：SAP-Nav通过主动感知技术，逐步构建可查询的空间语义表示，允许智能体在探索过程中动态获取和验证信息。该设计旨在提高导航的灵活性和准确性。
技术框架：SAP-Nav的整体架构包括两个主要模块：可查询空间语义表示的构建和主动视点验证。智能体通过获取房间视图来更新空间语义表示，并在必要时调整视点以获取更有信息量的观察。
关键创新：SAP-Nav的主要创新在于其完全在线的零-shot框架，能够在没有任务特定训练或预计算场景地图的情况下，支持层次化和标准类别级的OVON。
关键设计：在技术细节上，SAP-Nav采用了动态视点调整策略和空间语义查询机制，确保在不同环境条件下都能有效进行目标验证。
🖼️ 关键图片
📊 实验亮点
在LangMap和HM3D-OVON的实验中，SAP-Nav实现了最佳性能，特别是在区域级导航上，相较于训练方法提高了12.2%的成功率。此外，实际机器人实验验证了其在真实环境中的可行性。
🎯 应用场景
该研究的潜在应用领域包括智能机器人导航、自动驾驶、虚拟现实等。SAP-Nav的灵活性和高效性使其能够在复杂和未知环境中执行任务，具有重要的实际价值和广泛的应用前景。
📄 摘要（原文）
Hierarchical open-vocabulary object navigation (OVON) requires agents to follow free-form instructions that may specify targets through scene-, room-, region-, and instance-level cues in unseen environments. Although recent work LangMap has formalized this setting, reliably solving it under partial observations remains challenging: spatial grounding requires persistent environment-level evidence, whereas target verification requires clear and discriminative candidate views. We present SAP-Nav, a fully online, zero-shot framework that addresses both requirements through active perception. SAP-Nav incrementally constructs a Queryable Spatial-Semantic Representation from actively acquired room views, enabling spatial semantic queries from any explored location. It further employs Active Viewpoint Verification to assess whether the current observation provides sufficient evidence and, when necessary, reposition the agent to a more informative viewpoint before verifying candidates against category and attribute constraints. Although designed for hierarchical OVON, SAP-Nav supports both hierarchical and standard category-level OVON without task-specific training or precomputed scene maps. Experiments on LangMap and HM3D-OVON show that SAP-Nav achieves the overall best performance, including a 12.2% improvement in SR over training-based methods on region-level navigation. Real-world robot experiments further demonstrate its practical feasibility. Code will be made publicly available upon acceptance.