Hierarchical Fast--Slow ReAct Agent for Zero-Shot Object-Goal Navigation
作者: Zhaochen Lan, Zhi Yang, Yuxiang Fu, Mengxiang Lin
分类: cs.RO
发布日期: 2026-08-10
💡 一句话要点
提出层次化快慢反应代理以解决零-shot物体目标导航问题
🎯 匹配领域: 支柱六：视频提取与匹配 (Video Extraction)
关键词: 零-shot导航 物体识别 层次化代理 视觉-语言模型 机器人导航
📋 核心要点
- 现有的零-shot物体目标导航方法在决策过程中丢弃了重要的视觉信息，导致无法有效利用先前的观察。
- 本文提出的层次化快慢反应代理通过持续更新坐标锚定记忆，增强了对环境的理解和决策能力。
- 实验结果显示，该系统在多个数据集上取得了显著的成功率提升，超越了现有的零-shot方法。
📝 摘要（中文）
零-shot物体目标导航（ZSON）要求机器人在未曾进入的建筑中找到指定物体类别。现有方法通过视觉-语言价值图对前沿进行评分，决策时丢弃评分背后的证据。本文提出的层次化快慢反应代理在每一步保持价值图控制器运行，并在移动过程中写入坐标锚定记忆，形成一个语义网格，记录房间类型和确认的物体实例。该系统在HM3D v1验证集上达到68.75%的成功率，在MP3D验证集上达到47.29%，在零-shot方法中表现最佳。
🔬 方法详解
问题定义：论文要解决的具体问题是如何在未曾进入的环境中有效找到目标物体。现有方法在决策时忽略了先前观察的信息，导致导航效率低下。
核心思路：论文的核心解决思路是通过层次化快慢反应机制，持续更新环境记忆，以便在决策时充分利用已有信息。这样的设计使得机器人能够更好地理解和适应复杂环境。
技术框架：整体架构包括一个价值图控制器和一个记忆模块。机器人在移动过程中不断更新坐标锚定记忆，并通过反应层和深思层的交互进行决策。反应层负责实时处理环境信息，而深思层则在必要时进行更深入的推理。
关键创新：最重要的技术创新点在于引入了坐标锚定记忆，使得机器人能够在决策过程中考虑到先前的观察信息。这与现有方法的本质区别在于，后者通常只依赖当前视图进行决策。
关键设计：在设计中，系统设置了每次调用和每次运行的上限，以避免过度计算。同时，采用了无调用的第一层机制来解决频繁的停滞问题，确保系统在失败时能够迅速返回到反应控制器。
🖼️ 关键图片
📊 实验亮点
实验结果表明，该系统在HM3D v1验证集上达到了68.75%的成功率，在MP3D验证集上达到了47.29%，在所有比较的零-shot方法中表现最佳。与传统方法相比，选择远前沿的决策方式导致了3.40 SR点的损失，显示出深思层的有效性。
🎯 应用场景
该研究的潜在应用领域包括智能家居、无人驾驶和服务机器人等场景。通过提高机器人在复杂环境中的导航能力，能够显著提升其在实际应用中的效率和可靠性，具有广泛的市场价值和社会影响。
📄 摘要（原文）
Zero-shot object-goal navigation (ZSON) requires a robot to find a named object category in a building it has never entered. The prevailing approach scores frontiers with a vision--language \emph{value map}: every decision is another argmax over the map as it currently stands, and the evidence behind that score is discarded the moment it is taken. Systems that place a large vision--language model inside the perception--action loop typically query it on a fixed schedule from the current view alone; a room the robot walked through minutes earlier is never reconsidered, and a failed call has no defined fallback. We turn what the robot has already seen into the object of deliberation. Our hierarchical fast--slow agent leaves the value-map controller running at every step and writes a \emph{coordinate-anchored memory} as it moves: a semantic grid of room types and confirmed object instances, together with a bounded store of pose-tagged keyframes. A VLM screens each candidate detection before it is written. A deliberative layer reads this memory in a bounded reason--retrieve--act loop. It wakes on structural events the reactive layer computes, reasons first over text, and recalls a first-person view only for candidates that text alone cannot separate. Per-invocation and per-run caps bound its calls, a call-free first tier resolves the most frequent stall, and any failure returns control to the reactive controller. Our system reaches 68.75% SR on HM3D v1 \texttt{val} and 47.29% on MP3D \texttt{val}, the highest success rate among the zero-shot methods compared here. Choosing among far frontiers by argmax instead of deliberating costs 3.40 SR points in a paired comparison over all 2000 HM3D episodes (95\% CI [1.70, 5.05]); deliberating over every frontier does not recover them.