Scaffolding Foundation Models into Physical-World Agents Pushes the Frontier of Long-Horizon Navigation

📄 arXiv: 2608.30396v1 📥 PDF

作者: Zixing Lei, Gengze Zhou, Xiong-Hui Chen, Jiazhao Zhang, Yiyang Huang, Hang Yin, Haoqi Yuan, Qi Wu, Weixin Li, Siheng Chen

分类: cs.AI, cs.RO

发布日期: 2026-08-31

备注: 22 pages, 6 figures

💡 一句话要点

提出NavMCP框架以解决长时间导航中的决策与执行问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 长时间导航 视觉-语言模型 导航基础模型 智能代理 机器人导航 体态交互 决策支持

📋 核心要点

  1. 现有的视觉-语言模型和导航基础模型在长时间导航中各自存在不足，导致决策和执行效率低下。
  2. NavMCP框架将视觉-语言推理与导航执行结合，通过意图、观察和记忆三条通道实现高效协作。
  3. 在Embodied Question Answering任务中，NavMCP在多个基准上取得了最先进的结果，成功率显著提升。

📝 摘要（中文）

长时间物理世界代理需要在可靠的闭环行为中推理远程目标。现有的基础模型在视觉-语言推理和导航执行方面存在分离，导致效率低下。本文提出NavMCP框架，将视觉-语言模型与导航基础模型结合，支持长时间探索。该框架通过意图、观察和记忆三个通道促进协作，实现了持久的体态交互，且在多个基准测试中取得了最先进的结果，展示了将互补基础模型整合进长时间物理世界代理的潜力。

🔬 方法详解

问题定义：本文旨在解决长时间导航中，现有模型在决策与执行上的分离问题，导致的效率低下和不稳定性。现有的视觉-语言模型在推理上表现良好，但在导航执行时却缺乏持久性和可靠性。

核心思路：NavMCP框架通过将视觉-语言模型与导航基础模型结合，形成一个协同工作机制，使得代理能够在长时间内进行有效的探索与决策。设计的核心在于利用视觉-语言模型进行高层次推理，同时通过导航基础模型进行具体的导航执行。

技术框架：NavMCP框架包含三个主要模块：意图模块负责将推理需求转化为导航调用，观察模块将导航过程中的结果转化为基于源的轨迹证据，记忆模块则积累发现、负面证据和未解决目标，实现信息的持久存储与利用。

关键创新：NavMCP的创新在于其将视觉-语言模型与导航基础模型的结合，形成了一个持久的交互机制，克服了传统模型在长时间任务中的局限性。与现有方法相比，NavMCP能够在不重新训练模型的情况下，实现更高效的导航。

关键设计：在设计中，NavMCP采用了特定的参数设置和损失函数，以优化模型在长时间导航中的表现。网络结构上，视觉-语言模型与导航基础模型的结合设计，使得信息流动更加高效，支持复杂的决策过程。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

NavMCP在Embodied Question Answering任务中取得了最先进的结果，在HM-EQA基准上比传统的情节接口提高了14.9个百分点。在Unitree Go2平台上，成功率达到78.3%，随着任务难度的增加，优势从10分提升至45分，显示出显著的性能提升。

🎯 应用场景

NavMCP框架在机器人导航、智能家居、无人驾驶等领域具有广泛的应用潜力。通过提升长时间导航的决策与执行效率，该研究能够推动物理世界代理的智能化进程，促进人机协作的进一步发展。

📄 摘要（原文）

Long-horizon physical-world agents must reason over distant goals while grounding decisions in reliable closed-loop behavior. Today's foundation models split these capabilities: vision-language models (VLMs) infer missing information and adapt high-level plans but remain brittle and inefficient at repeated navigation grounding, while navigation foundation models (NFMs) robustly execute semantic goals but operate as bounded episodes without persistent task-level reasoning. We introduce NavMCP, an agentic scaffolding framework that couples a VLM reasoning agent with an NFM executor for long-horizon exploration. The VLM decides what evidence to seek, where to search, and when to stop, while the NFM grounds each semantic sub-goal into closed-loop navigation. Three channels structure their collaboration: intent translates evidence needs into navigation calls, observation converts rollouts into source-grounded trajectory evidence, and memory accumulates findings, negative evidence, and unresolved goals across calls. This design turns isolated navigation rollouts into persistent embodied interaction without retraining either model. On Embodied Question Answering, NavMCP achieves state-of-the-art results on HM-EQA, MT-HM3D, and EXPRESS-Bench. Under matched agent and executor backbones, it outperforms an episodic interface by 14.9 percentage points on HM-EQA. On a Unitree Go2, NavMCP reaches 78.3% success, with its margin over the strongest baseline growing from 10 to 45 points as the task horizon increases. These results demonstrate the potential of scaffolding complementary foundation models into long-horizon physical-world agents.