NavWAM: A Navigation World Action Model for Goal-Conditioned Visual Navigation
作者: Daichi Azuma, Taiki Miyanishi, Koya Sakamoto, Shuhei Kurita, Yaonan Zhu, Petr Khrapchenkov, Motoaki Kawanabe, Yusuke Iwasawa, Yutaka Matsuo
分类: cs.RO, cs.CV
发布日期: 2026-06-12
💡 一句话要点
提出NavWAM以解决目标导向视觉导航中的控制问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱六：视频提取与匹配 (Video Extraction)
关键词: 视觉导航 机器人控制 目标导向 深度学习 扩散变换器
📋 核心要点
- 现有的导航世界模型仍然依赖外部规划器，无法直接将视觉预测转化为闭环控制，限制了机器人在复杂环境中的自主导航能力。
- NavWAM通过扩散-变换器策略，将未来观察、目标进展值和动作块整合在共享潜在序列中，直接将视觉预测转化为可执行动作。
- 在实验中，NavWAM在图像目标导航任务中表现优异，超越了基于规划的世界模型和直接导航策略，展示了其有效性和实用性。
📝 摘要（中文）
目标导向的视觉导航要求机器人在部分可观测的环境中行动，预测其运动如何改变未来的自我中心视图，并判断这种变化是否使其更接近目标。导航世界模型提供了这种视觉前瞻性，但仍需外部规划器将预测的未来转化为闭环控制。本文提出了导航世界动作模型（NavWAM），一种扩散-变换器策略，通过在共享潜在序列中表示未来观察、目标进展值和动作块，将导航世界模型的预测转化为可执行的动作。NavWAM通过联合学习未来预测与决定闭环行为的动作和价值目标，使视觉前瞻性直接可用于机器人控制。我们通过仿真预训练和真实机器人适应构建NavWAM，并在图像目标导航中对比规划基础的世界模型和代表性的直接导航策略进行评估。结果表明，NavWAM在离线基准和闭环真实机器人部署中均优于规划基础的世界模型基线。
🔬 方法详解
问题定义：本文旨在解决目标导向视觉导航中，机器人在部分可观测环境下如何有效预测和执行动作的问题。现有方法依赖外部规划器，无法实现闭环控制，导致导航效率低下。
核心思路：NavWAM的核心思路是通过扩散-变换器策略，将未来观察、目标进展值和动作块整合在一个共享的潜在序列中，从而使视觉预测能够直接用于机器人控制。这样的设计使得机器人能够在不依赖外部规划的情况下，进行自主导航。
技术框架：NavWAM的整体架构包括三个主要模块：未来观察预测模块、目标进展评估模块和动作生成模块。未来观察预测模块负责生成未来的视觉输入，目标进展评估模块计算当前状态与目标之间的进展，而动作生成模块则将这些信息转化为具体的控制动作。
关键创新：NavWAM的最大创新在于将视觉预测与闭环控制目标相结合，使得机器人能够在复杂环境中自主决策。这一方法与传统的依赖外部规划的模型有本质区别，提升了导航的灵活性和效率。
关键设计：在设计中，NavWAM使用了特定的损失函数来平衡未来观察的准确性与动作生成的有效性。此外，网络结构采用了多层的变换器架构，以增强模型的表达能力和预测精度。
🖼️ 关键图片
📊 实验亮点
在实验中，NavWAM在图像目标导航任务中表现出色，相较于基于规划的世界模型，提升了导航效率，且在闭环真实机器人部署中表现稳定，验证了其在实际应用中的有效性。
🎯 应用场景
NavWAM的研究成果在自主机器人导航、智能家居、无人驾驶等领域具有广泛的应用潜力。通过提高机器人在复杂环境中的自主决策能力，能够显著提升其在实际场景中的适应性和效率，推动智能机器人技术的发展。
📄 摘要（原文）
Goal-conditioned visual navigation requires a robot to act under partial observability by anticipating how its motion will change the future egocentric view and whether that change brings it closer to the goal. Navigation world models provide such visual foresight, but they remain prediction modules that require an external planner to convert predicted futures into closed-loop control. We propose Navigation World Action Model (NavWAM), a diffusion-transformer policy that turns navigation world-model prediction into executable action by representing future observations, goal-progress values, and action chunks in a shared latent sequence. By learning future prediction jointly with the action and value targets that determine closed-loop behavior, NavWAM makes visual foresight directly usable for robot control. We build NavWAM through simulation pretraining and real-robot adaptation, and evaluate it on image-goal navigation against planning-based world models and a representative direct navigation policy. Across offline benchmarks and closed-loop real-robot deployment, NavWAM improves over planning-based world-model baselines in our evaluations while using the default policy mode without CEM-style action search. Project page:this https URL