Hierarchical 3D Scene Graph Construction and Belief-based Planning for Semantic Navigation

📄 arXiv: 2606.31071v1 📥 PDF

作者: Bing Wu, Zuyao Chen, Changwen Chen

分类: cs.CV, cs.RO

发布日期: 2026-06-30

备注: Camera-ready version accepted at ECCV 2026

💡 一句话要点

提出层次化3D场景图构建与基于信念的规划以解决语义导航问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 语义导航 层次化场景图 基于信念的规划 长距离导航 自主智能体 图神经网络 决策优化

📋 核心要点

  1. 现有方法在长距离导航中依赖局部观察和贪婪策略，导致探索效率低下和短视行为。
  2. 本文提出的框架通过维护层次化3D场景图，形成多粒度语义拓扑，支持全局规划。
  3. 实验结果显示，本文方法在长距离导航任务中，SR和SPL分别提高了9.4%和5.0%，显著优于现有方法。

📝 摘要（中文）

语义导航是嵌入式智能体在未知环境中操作的基本任务，要求具备语义理解和长期决策能力。尽管最近的基础模型为这一任务赋予了丰富的语义先验，但缺乏结构化的全局表示使得决策往往依赖局部观察和贪婪策略，导致探索效率低下，尤其在长距离导航中表现不佳。为了解决这些挑战，本文提出了一种零-shot语义导航框架，逐步维护在线层次化3D场景图（HSG），形成对象、区域和区域的多粒度语义拓扑，作为全局规划的紧凑状态抽象。基于此内存，我们引入了一种层次化的基于信念的规划框架，将语义先验与HSG上的探索证据融合，并在HSG基础模拟器上执行有限时域的回滚，以明确估计候选宏动作的长期预期回报。这使得决策在全局上保持一致，减少冗余回溯。大量在高保真模拟环境中的实验表明，我们的方法在多个任务和数据集上优于现有的最先进方法，尤其在长距离场景中，SR和SPL分别提高了9.4%和5.0%。

🔬 方法详解

问题定义：本文旨在解决嵌入式智能体在未知环境中进行语义导航时，缺乏结构化全局表示导致的决策效率低下问题。现有方法往往依赖局部观察和贪婪策略，导致探索不充分和短视行为。

核心思路：提出一种零-shot语义导航框架，通过在线维护层次化3D场景图（HSG），形成多粒度的语义拓扑，作为全局规划的状态抽象，并结合信念规划来优化决策过程。

技术框架：整体架构包括三个主要模块：在线HSG构建模块、基于信念的规划模块和HSG基础模拟器。HSG模块负责动态更新场景图，规划模块则利用HSG进行长远决策。

关键创新：最重要的创新在于引入层次化的信念规划框架，能够将语义先验与探索证据有效融合，并通过有限时域回滚明确估计宏动作的长期预期回报，这与传统方法的局部决策形成鲜明对比。

关键设计：在设计中，HSG的构建采用增量更新方式，确保实时性；规划模块使用特定的损失函数来优化决策质量，网络结构则基于图神经网络，以适应场景图的复杂性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，提出的方法在高保真模拟环境中表现优异，特别是在长距离导航任务中，成功率（SR）和成功路径长度（SPL）分别提高了9.4%和5.0%，显著超越了现有最先进的方法，验证了其有效性。

🎯 应用场景

该研究的潜在应用领域包括自主机器人导航、智能家居系统以及无人驾驶汽车等。通过提升智能体在未知环境中的决策能力，能够显著提高其在复杂场景中的操作效率和安全性，未来可能对智能交通和服务机器人领域产生深远影响。

📄 摘要（原文）

Semantic navigation is a fundamental task for embodied agents operating in unseen environments, requiring both semantic understanding and long-term decision-making. Recent foundation models have empowered agents with rich semantic priors for this task. However, without structured global representations, decision-making often falls back on local observations and greedy strategies, resulting in inefficient exploration and myopic behaviors, especially in long-distance navigation. To address these challenges, we propose a zero-shot semantic navigation framework. Our method incrementally maintains an online Hierarchical 3D Scene Graph (HSG) to form a multi-granular semantic topology over objects, zones, and regions, serving as a compact state abstraction for global planning. Building on this memory, we introduce a hierarchical belief-based planning framework that fuses semantic priors with exploration evidence on the HSG, and performs finite-horizon rollouts on an HSG-based simulator to explicitly estimate the long-term expected returns of candidate macro-actions. This enables globally consistent decisions and reduces redundant backtracking. Extensive experiments in high-fidelity simulation environments across multiple tasks and datasets demonstrate that our method outperforms existing state-of-the-art methods, particularly in long-distance scenarios, where our approach improves SR and SPL by an average of 9.4\% and 5.0\%, respectively.