STEGNav: Spatio-Temporal Event Graph Reasoning for Multimodal Lifelong Object Navigation
作者: Yang Chen, Zhenyu Huang, Wenbo Fu, Danyang Peng, Shi-Yu Tian, Kun-Yang Yu, Lan-Zhe Guo
分类: cs.RO
发布日期: 2026-08-28
💡 一句话要点
提出STEGNav以解决多模态终身导航中的实例区分与记忆利用问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态导航 时空事件图 智能体探索 实例区分 导航记忆 路径效率 决策支持
📋 核心要点
- 现有方法在多模态终身导航中难以有效区分相似实例，且无法充分利用导航记忆和轨迹经验。
- 本文提出STEGNav，通过构建时空事件图，结合空间和时间轴的信息，提升导航任务的执行效率和准确性。
- STEGNav在多个基准测试中表现优异，成功率和路径效率均显著提高，验证了其有效性和创新性。
📝 摘要（中文）
多模态终身导航要求智能体在未知环境中自主探索，并顺序完成由物体类别、语言描述或参考图像指定的导航任务。现有方法主要通过构建以状态为中心的语义场景图来实现这些任务，但在区分相似实例、联合表示语义目标和探索前沿、有效利用导航记忆和轨迹经验方面存在不足。为了解决这些问题，本文提出了一种训练无关的框架STEGNav，将传统场景图扩展为沿空间和时间轴的时空事件图。空间轴执行查询条件的实例定位，并联合表示语义目标和占用感知的探索前沿；时间轴则利用轨迹感知的双窗口记忆保留最近的决策-轨迹事件和验证的跨子任务导航结果。实验结果表明，STEGNav在GOAT-Bench上取得了66.3%的成功率和39.7%的路径效率，且在HM3Dv1和HM3Dv2上分别获得64.0%和69.4%的成功率。
🔬 方法详解
问题定义：本文旨在解决多模态终身导航中智能体在未知环境中自主探索时，现有方法在实例区分、语义目标表示和导航记忆利用方面的不足。
核心思路：STEGNav通过将传统的场景图扩展为时空事件图，分别在空间和时间轴上进行信息处理，以更好地支持导航任务的执行。空间轴关注实例定位和探索前沿的表示，时间轴则关注决策和轨迹的记忆。
技术框架：STEGNav的整体架构包括两个主要模块：空间轴模块和时间轴模块。空间轴模块负责查询条件的实例定位和探索前沿的联合表示，时间轴模块则利用双窗口记忆保留决策-轨迹事件。
关键创新：STEGNav的核心创新在于引入时空事件图的概念，结合空间和时间信息，使得智能体能够更有效地进行导航决策，与现有的状态中心语义场景图方法形成鲜明对比。
关键设计：在设计中，空间轴模块采用了查询条件的实例定位机制，时间轴模块则实现了轨迹感知的双窗口记忆，确保了最近决策和导航结果的有效保留。
🖼️ 关键图片
📊 实验亮点
STEGNav在GOAT-Bench上取得66.3%的成功率和39.7%的路径效率，在HM3Dv1和HM3Dv2上分别达到64.0%和69.4%的成功率，显著优于现有基线，验证了时空事件图在导航任务中的有效性。
🎯 应用场景
STEGNav的研究成果在智能机器人、自动驾驶和虚拟现实等领域具有广泛的应用潜力。通过提升智能体在复杂环境中的导航能力，该方法可以为多模态交互和自主决策提供更强的支持，推动相关技术的发展与应用。
📄 摘要（原文）
Multimodal lifelong navigation requires an agent to autonomously explore unseen environments while sequentially completing navigation tasks specified by object categories, language descriptions, or reference images. Existing methods primarily accomplish these tasks by constructing state-centric semantic scene graphs. By treating scene graphs as persistent repositories of semantic observations, these methods struggle to distinguish similar instances, jointly represent semantic targets and exploration frontiers, and effectively exploit navigation memory and trajectory experience. To address these limitations, we propose Spatio-Temporal Event Graph Navigation (STEGNav), a training-free framework that extends conventional scene graphs into spatio-temporal event graphs along complementary spatial and temporal axes. The spatial axis performs query-conditioned instance grounding and jointly represents semantic targets and occupancy-aware exploration frontiers characterized by reachability, path cost, and exploration utility. The temporal axis employs trajectory-aware dual-window memory to retain recent decision--trajectory events and verified cross-subtask navigation outcomes. A VLM-based navigation agent reasons over the resulting spatio-temporal event graph and selects either a target instance or an exploration frontier as its next navigation goal. STEGNav achieves 66.3% SR and 39.7 SPL on GOAT-Bench, as well as SR scores of 64.0% and 69.4% on HM3Dv1 and HM3Dv2, respectively. Ablation studies and error analyses validate the complementary effects of the two axes, demonstrating that event-driven spatio-temporal representations improve navigation reliability and cross-subtask experience reuse.