RTNav: Towards Real-Time Zero-Shot Object Navigation

📄 arXiv: 2608.26496v1 📥 PDF

作者: Easop Lee, Lingyu Zhang, Boyuan Chen

分类: cs.RO, cs.AI, cs.CV

发布日期: 2026-08-27

💡 一句话要点

提出RTNav以解决实时零-shot物体导航问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 零-shot导航 实时推理 异步处理 物体识别 机器人导航

📋 核心要点

  1. 现有的零-shot物体导航方法在实时执行中表现不佳，推理延迟导致性能下降。
  2. RTNav通过将推理延迟和异步环境步进作为设计考虑，提出了一种新的架构以应对实时导航挑战。
  3. 在多个数据集上，RTNav的成功率提高了最多11%，显示出其在实时环境中的有效性。

📝 摘要（中文）

在未知环境中寻找未预见物体的导航任务随着视觉和语言基础模型的进步变得愈加可行。然而，这些模型引入的推理延迟成为了一个重要问题，尤其是在实时执行的场景中。现有的最先进方法多在同步模拟器中开发，未能有效考虑时间约束。本文提出RTNav，一种简单而有效的架构，将推理延迟、异步环境步进和有限计算作为明确设计考虑。通过在HM3D-v1、HM3D-v2和HM3D-OVON的实时变体上进行评估，RTNav在成功率上提高了最多11%，在成功率加权完成时间上提高了最多5.1分。

🔬 方法详解

问题定义：本文旨在解决在实时环境中进行零-shot物体导航时，现有方法因推理延迟而导致的性能下降问题。现有方法通常在同步模拟器中运行，未能考虑实际应用中的时间约束。

核心思路：RTNav的核心思路是将推理延迟、异步环境步进和有限计算作为设计的基本要素，旨在提高在实时条件下的导航性能。通过这种设计，RTNav能够更好地适应动态环境中的时间限制。

技术框架：RTNav的整体架构包括感知、推理和行动三个主要模块。感知模块负责环境信息的获取，推理模块进行决策，而行动模块则执行导航任务。整个流程是异步的，以减少等待时间。

关键创新：RTNav的主要创新在于将推理延迟和异步处理纳入设计考虑，这与传统方法的顺序执行方式形成鲜明对比。通过这种方式，RTNav能够在实时条件下保持较高的性能。

关键设计：RTNav在参数设置上进行了优化，采用了适应性的损失函数和高效的网络结构，以确保在有限计算资源下仍能实现高效推理。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

RTNav在多个实时数据集上的实验结果显示，其成功率提高了最多11%，成功率加权完成时间提升了最多5.1分。这些结果表明，RTNav在应对实时导航挑战方面具有显著优势，超越了现有的基线方法。

🎯 应用场景

RTNav的研究成果具有广泛的应用潜力，尤其是在机器人导航、自动驾驶和智能家居等领域。通过提高实时物体导航的效率，RTNav能够支持更复杂的任务执行，如动态环境中的自主决策和路径规划，未来可能推动相关技术的进一步发展。

📄 摘要（原文）

Navigation in unknown environments to find unforeseen objects has become increasingly feasible with capable vision and language foundation models. However, these models also introduce non-negligible inference latency, which becomes an important concern when agents must operate continuously in the real world. Most state-of-the-art methods are still developed in synchronous simulators, where the environment waits for the agent to act and inference time is effectively free. As a result, agents are often designed around the sequential execution of perception, reasoning, and action, with little regard for time constraints. Under real-time execution, where wall-clock time counts towards the task budget, the inefficiencies of these architectures become clear. We show that recent zero-shot object navigation methods suffer consistent performance degradation under such realistic timing conditions. Motivated by this observation, we propose RTNav, a simple but effective architecture that treats inference latency, asynchronous environment stepping, and bounded compute as explicit design considerations. Evaluated on real-time variants of HM3D-v1, HM3D-v2, and HM3D-OVON, RTNav improves the success rate by up to 11% and the Success weighted by Completion Time by up to 5.1 points over prior work.