Pondering the Way: Spatial-perceiving World Action Model for Embodied Navigation

📄 arXiv: 2606.29908v1 📥 PDF

作者: Hong Chen, Daqi Liu, Zehan Zhang, Haiguang Wang, Tianhao Lu, Longfei Yan, Haiyang Sun, Fangzhen Li, Hongwei Xie, Bing Wang, Guang Chen, Hangjun Ye, Yihua Tan

分类: cs.RO, cs.AI

发布日期: 2026-06-29

备注: ECCV 2026

💡 一句话要点

提出SWAM以解决视觉导航中的轨迹生成问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 视觉导航 世界模型 动作生成 深度学习 机器人技术 轨迹规划 空间感知

📋 核心要点

  1. 现有的世界模型基础的视觉导航规划方法存在候选依赖和计算开销大的问题，导致生成的轨迹与目标意图不一致。
  2. SWAM通过任务中心的联合观察-动作生成框架，能够在一次推理中生成中间RGB-D序列和动作轨迹，提升轨迹生成的目标一致性。
  3. 实验结果显示，SWAM在成功率、轨迹准确性和推理效率上显著优于现有的两阶段规划方法，并且在新环境中具有良好的泛化能力。

📝 摘要（中文）

现有基于世界模型的视觉导航规划通常采用验证中心的范式，将目标意图与轨迹合成解耦。这种方法存在候选依赖、计算开销大以及采样动作与预测视觉之间不一致等问题。为了解决这些问题，我们提出了SWAM（空间感知世界动作模型），这是一个任务中心的联合观察-动作生成框架。SWAM在给定起始和目标RGB观察的情况下，能够单次推理生成中间RGB-D序列和相应的动作轨迹，从而促进目标一致的轨迹生成和空间可行性的提升。SWAM在训练过程中利用深度伪标签来内化空间先验，但在推理时仅需单目RGB输入。此外，我们还引入了视觉引导的动作细化模块和轨迹尺度正则化损失，以增强运动与视觉线索之间的细粒度对齐，同时在不同距离下稳定预测。大量实验表明，SWAM在成功率、轨迹准确性和推理效率上显著超越了最先进的两阶段规划器，同时在未见环境中表现出强大的零-shot泛化能力。

🔬 方法详解

问题定义：本论文旨在解决现有基于世界模型的视觉导航规划中，目标意图与轨迹合成解耦所带来的候选依赖、计算开销大以及生成轨迹与目标不一致等问题。

核心思路：SWAM通过任务中心的联合观察-动作生成框架，能够在一次推理中同时生成中间RGB-D序列和相应的动作轨迹，从而提高轨迹生成的目标一致性和空间可行性。

技术框架：SWAM的整体架构包括输入RGB观察、深度伪标签的利用、单次推理生成RGB-D序列和动作轨迹、视觉引导的动作细化模块以及轨迹尺度正则化损失等主要模块。

关键创新：SWAM的主要创新在于其任务中心的联合生成机制，能够有效地将观察与动作生成结合，克服了传统方法中存在的轨迹生成与目标意图不一致的问题。

关键设计：在训练过程中，SWAM利用深度伪标签来内化空间先验，而在推理时仅需单目RGB输入。此外，视觉引导的动作细化模块和轨迹尺度正则化损失被设计用于增强运动与视觉线索之间的对齐。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

SWAM在实验中表现出色，成功率、轨迹准确性和推理效率均显著高于最先进的两阶段规划器，具体提升幅度达到XX%（具体数据待补充），并且在未见环境中展现出强大的零-shot泛化能力。

🎯 应用场景

SWAM的研究成果在机器人导航、自动驾驶、虚拟现实等领域具有广泛的应用潜力。通过提升视觉导航的效率和准确性，SWAM能够为智能体在复杂环境中的自主决策提供更可靠的支持，推动相关技术的发展与应用。

📄 摘要（原文）

Existing world model-based planners for visual navigation typically follow a verification-centric paradigm, decoupling goal intent from trajectory synthesis. This approach suffers from candidate dependence, heavy computational overhead, and inconsistencies between sampled actions and predicted visuals. To address these issues, we propose SWAM (Spatial-perceiving World Action Model), a task-centric joint observation-action generation framework. Given start and goal RGB observations, SWAM performs single-pass inference to simultaneously generate intermediate RGB-D sequences and corresponding action trajectories, promoting goal-consistent trajectory generation and improved spatial feasibility. While SWAM leverages depth pseudo-labels during training to internalize spatial priors, it requires only monocular RGB input at inference time. We further introduce a visual-guided action refinement module and a trajectory-scale regularization loss to enforce fine-grained alignment between motion and visual cues while stabilizing predictions across varying distances. Extensive experiments show that SWAM significantly outperforms state-of-the-art two-stage planners in success rate, trajectory accuracy, and inference efficiency, while demonstrating robust zero-shot generalization to unseen environments.