SAGE-Nav: Leveraging LLM Planning and Alignment Fusion for Hierarchical Scene Graph-Guided Navigation

📄 arXiv: 2606.25497v1 📥 PDF

作者: Hao Su, Yuehao Huang, Yukai Ma, Yong Liu, Jiajun Lv

分类: cs.RO

发布日期: 2026-06-24

备注: Accepted by IROS 2026

💡 一句话要点

提出SAGE-Nav以解决长距离目标导航问题

🎯 匹配领域: 支柱六：视频提取与匹配 (Video Extraction) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 对象目标导航 大型语言模型 动态场景图 层次框架 多模态融合 机器人导航

📋 核心要点

  1. 现有的单一方法在长距离推理和新环境的泛化能力上表现不佳，限制了对象目标导航的有效性。
  2. SAGE-Nav通过将大型语言模型与动态场景图结合，提出了一种分层框架，解耦全局规划与低级控制。
  3. 在i-THOR和RoboTHOR环境中，SAGE-Nav实现了显著的导航效率提升和零样本泛化能力，表现优于现有方法。

📝 摘要（中文）

对象目标导航（ObjNav）要求具身智能体仅通过自我中心的视觉观察自主定位指定目标。现有的单一方法在长距离推理和新环境的泛化能力上存在不足。为了解决这些问题，本文提出了SAGE-Nav，一个新颖的分层框架，将大型语言模型（LLMs）的推理能力与动态场景图相结合。该框架将异步全局语义规划与高频反应控制循环解耦，LLM作为全局规划器，将抽象指令分解为一系列语义基础的路径点。为了将这些计划转化为密集的多模态指导，我们设计了层次场景图编码器（HSGE），利用关系图卷积生成保留语义和空间拓扑的结构感知嵌入。此外，我们开发了目标感知对齐融合网络（GAFN），动态融合实时感知与这些结构先验。通过自适应门控机制，GAFN确保低级策略的视觉-拓扑对齐的鲁棒性。大量在i-THOR和RoboTHOR环境中的评估表明，SAGE-Nav在导航效率和零样本泛化方面实现了最先进的性能，同时保持了物理机器人部署所需的低控制延迟。

🔬 方法详解

问题定义：本文旨在解决对象目标导航中，现有方法在长距离推理和新环境泛化能力不足的问题。现有的单一方法往往无法有效处理复杂的导航任务，导致智能体在新环境中的表现不佳。

核心思路：SAGE-Nav的核心思路是将大型语言模型的推理能力与动态场景图结合，形成一个分层的导航框架。通过将全局语义规划与低频反应控制解耦，SAGE-Nav能够更好地处理复杂的导航任务。

技术框架：SAGE-Nav的整体架构包括三个主要模块：全局规划器（LLM）、层次场景图编码器（HSGE）和目标感知对齐融合网络（GAFN）。LLM负责将抽象指令转化为语义路径点，HSGE生成结构感知嵌入，而GAFN则动态融合实时感知与结构先验。

关键创新：SAGE-Nav的关键创新在于将LLM与动态场景图结合，形成分层导航框架。这种设计使得全局规划与低级控制之间的解耦成为可能，从而提升了导航的灵活性和效率。

关键设计：在设计中，HSGE利用关系图卷积生成嵌入，确保保留语义和空间拓扑信息。GAFN采用自适应门控机制，确保视觉与拓扑的对齐，增强了低级策略的鲁棒性。

📊 实验亮点

在i-THOR和RoboTHOR环境中的实验表明，SAGE-Nav在导航效率上实现了显著提升，具体表现为在多个任务中超越了现有最先进的方法，且在零样本泛化能力上也取得了显著进展，保持了低控制延迟，适合物理机器人部署。

🎯 应用场景

SAGE-Nav的研究成果在机器人导航、智能家居、自动驾驶等领域具有广泛的应用潜力。通过提升智能体在复杂环境中的导航能力，该框架能够推动自主机器人技术的发展，改善人机交互体验，并在智能城市建设中发挥重要作用。

📄 摘要（原文）

Object-Goal Navigation (ObjNav) requires embodied agents to autonomously locate specified targets using only egocentric visual observations. Existing monolithic methods struggle with long-horizon reasoning and generalize poorly to novel environments. To address these limitations, we propose SAGE-Nav, a novel hierarchical framework that integrates the reasoning capabilities of Large Language Models (LLMs) with dynamic scene graphs. Crucially, it decouples asynchronous global semantic planning from the high-frequency reactive control loop. The LLM serves as a global planner, decomposing abstract instructions into a sequence of semantically grounded waypoints. To translate these plans into dense multi-modal guidance, we design a Hierarchical Scene Graph Encoder (HSGE) that leverages relational graph convolutions to produce structure-aware embeddings preserving both semantic and spatial topology. Furthermore, we develop the Goal-aware Alignment-Fusion Network (GAFN) to dynamically fuse real-time perception with these structural priors. Using an adaptive gating mechanism with an explicit inductive bias, GAFN ensures robust visual-topological alignment for the low-level policy. Extensive evaluations in the i-THOR and RoboTHOR environments demonstrate that SAGE-Nav achieves state-of-the-art performance, delivering substantial gains in navigation efficiency and zero-shot generalization while maintaining the low control latency required for physical robotic deployment.