WAM4D: Fast 4D World Action Model via Spatial Register Tokens

📄 arXiv: 2606.14048v1 📥 PDF

作者: Ying Li, Xiaobao Wei, Jiajun Cao, Hao Wang, Xiaowei Chi, Chengyu Bai, Qianpu Sun, Jiajun Li, Xiaojie Zhang, Jian Tang, Sirui Han, Shanghang Zhang

分类: cs.CV, cs.RO

发布日期: 2026-06-12

备注: 15 pages, 7figures, 9tables

💡 一句话要点

提出WAM4D以解决3D空间约束不足的问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 世界动作模型 4D建模 空间注册令牌 因果视频变换器 机器人操作 多模态融合 几何先验

📋 核心要点

  1. 现有的世界动作模型在处理3D空间约束和遮挡几何时存在不足，导致精确操作能力受限。
  2. WAM4D通过使用轻量级空间注册令牌，将几何先验转移到因果视频-动作变换器中，从而提高了模型的效率和准确性。
  3. 在RoboTwin 2.0等复杂任务中，WAM4D显著提升了空间一致性和动作预测能力，表现出竞争力。

📝 摘要（中文）

世界动作模型（WAMs）在联合建模未来观察和可执行机器人动作方面展现了良好前景。然而，现有WAMs多在2D视频或潜在空间中操作，导致在精确操作中缺乏3D空间约束和被遮挡的接触几何。为了解决这一问题，本文提出了WAM4D，一个快速的4D世界动作模型，利用轻量级空间注册令牌作为训练时的未来深度读出，将预训练的几何先验转移到因果视频-动作变换器中，并在轻量级动作推理中去除注册分支。通过设计因果混合注意力机制，WAM4D在RoboTwin 2.0和复杂的真实世界操作任务中展示了空间一致性和竞争性的动作预测能力，同时保持高效推理。

🔬 方法详解

问题定义：本文旨在解决现有世界动作模型在3D空间约束和遮挡几何处理上的不足，导致的精确操作能力缺失。现有方法多在2D空间中操作，无法充分利用3D信息。

核心思路：WAM4D的核心思路是引入轻量级空间注册令牌，作为训练时的未来深度读出，帮助将预训练的几何先验有效转移到因果视频-动作变换器中，从而提高推理效率。

技术框架：WAM4D的整体架构包括两个主要阶段：首先是利用空间注册令牌进行训练，以捕捉3D空间信息；其次是去除注册分支进行轻量级动作推理。模型还采用了因果混合注意力机制，确保视频、动作和几何令牌之间的可见性。

关键创新：WAM4D的主要创新在于引入了轻量级空间注册令牌和因果混合注意力机制，这与现有方法的设计思路有本质区别，能够有效减少几何解码的成本并加速因果动作生成。

关键设计：在模型设计中，采用了特定的损失函数来优化空间一致性，并在网络结构中引入了多模态融合的机制，以确保不同模态之间的有效交互。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在RoboTwin 2.0和其他真实世界操作任务中，WAM4D显著提升了空间一致性，动作预测的准确性与效率均优于现有基线，展示了在复杂任务中的竞争力，具体性能数据未详述。

🎯 应用场景

WAM4D的研究成果在机器人操作、自动驾驶、虚拟现实等领域具有广泛的应用潜力。通过提高对3D空间的理解和操作能力，该模型能够在复杂环境中实现更高效的自动化任务，推动智能机器人技术的发展。

📄 摘要（原文）

World action models (WAMs) have recently shown promise in jointly modeling future observations and executable robot actions. However, most existing WAMs still operate in 2D video or latent spaces, where visually plausible rollouts miss the 3D spatial constraints and occluded contact geometry required for precise manipulation. While geometric foundation models offer strong priors for recovering dense 3D structure and motion from visual observations, forcing WAMs to predict the dense 4D representation introduces costly geometric decoding and slows down causal action generation. To address the trade-off, we present WAM4D, a fast 4D world action model that uses lightweight spatial register tokens as training-time future-depth readouts to transfer pretrained geometric priors into a causal video-action transformer, then removes the register branch for lightweight action inference. To prevent non-causal shortcuts, we further design causal mixture attention for the Mixture-of-Transformers (MoT) WAM backbone, defining modality-specific visibility among video, action, and geometry tokens. Comprehensive experiments on RoboTwin 2.0 and challenging real-world manipulation tasks show that WAM4D improves spatial consistency and achieves competitive action prediction while maintaining efficient inference.