Hierarchical Open-Vocabulary 3D Scene Graphs for Language-Grounded Robot Navigation

📄 arXiv: 2403.17846v2 📥 PDF

作者: Abdelrhman Werby, Chenguang Huang, Martin Büchner, Abhinav Valada, Wolfram Burgard

分类: cs.RO, cs.AI, cs.CL, cs.CV, cs.LG

发布日期: 2024-03-26 (更新: 2024-06-03)

备注: Code and video are available at http://hovsg.github.io/

DOI: 10.15607/RSS.2024.XX.077

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出HOV-SG以解决语言引导机器人导航中的环境复杂性问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 开放词汇 3D场景图 机器人导航 视觉语言 层次化表示 多层建筑 语义准确性

📋 核心要点

  1. 现有的开放词汇机器人映射方法在处理大规模环境和抽象查询时存在显著不足，限制了机器人导航的有效性。
  2. 本文提出HOV-SG，通过构建层次化的3D场景图，结合开放词汇视觉模型，实现了更高效的语言引导导航。
  3. HOV-SG在多个数据集上表现优异，语义准确性显著提升，同时表示大小大幅减少，证明了其有效性和通用性。

📝 摘要（中文）

近年来，开放词汇的机器人映射方法通过预训练的视觉语言特征丰富了密集几何地图。然而，面对大规模环境和超越物体层级的抽象查询，这些方法仍然存在显著挑战，限制了语言引导的机器人导航。本文提出了一种层次化开放词汇3D场景图映射方法HOV-SG，利用开放词汇视觉基础模型，首先在3D中获得最先进的开放词汇分段级地图，随后构建包含楼层、房间和物体概念的3D场景图层次结构。HOV-SG在三个不同数据集上进行评估，在物体、房间和楼层级别的开放词汇语义准确性上超越了之前的基线，同时与密集开放词汇地图相比，表示大小减少了75%。

🔬 方法详解

问题定义：本文旨在解决现有开放词汇机器人导航方法在大规模环境和抽象查询中的局限性，尤其是在复杂场景下的导航能力不足。

核心思路：HOV-SG通过构建层次化的3D场景图，结合开放词汇视觉基础模型，能够有效表示多层建筑及其内部结构，从而实现更精准的语言引导导航。

技术框架：该方法的整体架构包括三个主要阶段：首先生成开放词汇分段级地图，然后构建包含楼层、房间和物体概念的3D场景图，最后利用跨楼层Voronoi图实现机器人导航。

关键创新：HOV-SG的核心创新在于其层次化的场景图结构，能够有效整合多层次的环境信息，并显著提高语义准确性，区别于传统的平面或单一层级表示方法。

关键设计：在设计中，HOV-SG采用了先进的视觉基础模型进行特征提取，并通过优化损失函数来提升语义表示的准确性，确保了在复杂环境中的有效导航。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

HOV-SG在三个不同的数据集上进行了评估，显示出在物体、房间和楼层级别的开放词汇语义准确性上超越了之前的基线，且表示大小减少了75%。这些结果证明了该方法在实际应用中的有效性和优势。

🎯 应用场景

HOV-SG的研究成果在智能机器人导航、自动驾驶、智能家居等领域具有广泛的应用潜力。通过提升机器人对复杂环境的理解能力，该技术能够实现更高效的任务执行和人机交互，推动智能系统的普及与发展。

📄 摘要（原文）

Recent open-vocabulary robot mapping methods enrich dense geometric maps with pre-trained visual-language features. While these maps allow for the prediction of point-wise saliency maps when queried for a certain language concept, large-scale environments and abstract queries beyond the object level still pose a considerable hurdle, ultimately limiting language-grounded robotic navigation. In this work, we present HOV-SG, a hierarchical open-vocabulary 3D scene graph mapping approach for language-grounded robot navigation. Leveraging open-vocabulary vision foundation models, we first obtain state-of-the-art open-vocabulary segment-level maps in 3D and subsequently construct a 3D scene graph hierarchy consisting of floor, room, and object concepts, each enriched with open-vocabulary features. Our approach is able to represent multi-story buildings and allows robotic traversal of those using a cross-floor Voronoi graph. HOV-SG is evaluated on three distinct datasets and surpasses previous baselines in open-vocabulary semantic accuracy on the object, room, and floor level while producing a 75% reduction in representation size compared to dense open-vocabulary maps. In order to prove the efficacy and generalization capabilities of HOV-SG, we showcase successful long-horizon language-conditioned robot navigation within real-world multi-storage environments. We provide code and trial video data at http://hovsg.github.io/.