Faster-WAM: Do World Action Models Need Deep Action Modules?

📄 arXiv: 2608.02365v1 📥 PDF

作者: Liheng Ma, Rui Heng Yang, Zhanguang Zhang, Mateo Clemente, Ziwen Hu, Tongtong Cao, Yingxue Zhang

分类: cs.AI, cs.LG, cs.RO

发布日期: 2026-08-03

💡 一句话要点

提出Faster-WAM以解决现有世界动作模型的计算开销问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 世界动作模型 视频理解 轻量级网络 动作预测 推理延迟 深度学习

📋 核心要点

  1. 现有的世界动作模型在动作模块深度与视频骨干网络深度绑定，导致计算开销大和推理延迟高。
  2. 本文提出Dock of Transformer（DoT），通过将预训练视频变换器作为表示中心，连接轻量级输出头，解决了现有方法的局限性。
  3. Faster-WAM在LIBERO和RoboTwin 2.0上表现出竞争力，且在推理延迟上实现了3.2倍的加速，展示了强大的泛化能力。

📝 摘要（中文）

世界动作模型（WAMs）将机器人动作预测与视频世界模型结合。现有的WAMs由于共享骨干网络和混合变换器设计，导致动作模块的深度与视频骨干网络的深度绑定，从而产生显著的计算开销和高推理延迟。为了解决这一限制，本文提出了Dock of Transformer（DoT），一种视频中心设计原则，将预训练的视频变换器视为表示中心，并通过对接接口连接轻量级输出头。这种设计使得输出头的设计更加灵活，同时直接访问骨干网络所有层的表示。我们进一步提出了Faster-WAM，作为DoT在WAMs中的实例，将单层动作头对接到30层视频骨干网络上。Faster-WAM在LIBERO和RoboTwin 2.0上表现出竞争力，并在LIBERO-Plus上展示了强大的分布外泛化能力，同时在我们的对比实验中实现了最低的端到端延迟，仅需66.5毫秒推理时间，较Fast-WAM加速3.2倍。整体结果表明，视频中心的DoT架构支持灵活的任务特定头设计，同时提供低推理延迟、强大的动作预测性能和稳健的泛化能力。

🔬 方法详解

问题定义：本文旨在解决现有世界动作模型在计算效率和推理延迟方面的不足，尤其是动作模块与视频骨干网络深度的绑定导致的高开销问题。

核心思路：提出Dock of Transformer（DoT）设计原则，通过将预训练的视频变换器作为表示中心，连接轻量级的输出头，从而实现灵活的输出设计并降低计算开销。

技术框架：Faster-WAM的整体架构包括一个30层的视频骨干网络和一个单层的动作头，利用对接接口融合所有视频层的键和值，并应用RoPE重新对齐。

关键创新：Faster-WAM的主要创新在于其视频中心的DoT架构，允许灵活的任务特定头设计，同时显著降低推理延迟，与现有方法相比，提供了更高的计算效率。

关键设计：在设计中，Faster-WAM通过对接接口实现了从所有视频层获取表示，并在不进行额外的实体预训练的情况下，优化了推理速度和性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

Faster-WAM在LIBERO和RoboTwin 2.0上表现出竞争力，且在LIBERO-Plus上展示了强大的分布外泛化能力。其推理延迟仅为66.5毫秒，相较于Fast-WAM实现了3.2倍的加速，显示出显著的性能提升。

🎯 应用场景

该研究的潜在应用领域包括机器人导航、自动驾驶、智能监控等场景，能够有效提升机器人在复杂环境中的动作预测能力和反应速度。未来，Faster-WAM的设计理念可能会影响其他领域的模型设计，推动更高效的人工智能系统发展。

📄 摘要（原文）

World Action Models (WAMs) couple robot action prediction with video world models. Existing WAMs with shared-backbone and Mixture-of-Transformers designs generally tie the depth of the action module to that of the video backbone, resulting in substantial computational overhead and high inference latency. To address this limitation, we introduce Dock of Transformer (DoT), a video-centric design principle that treats a pretrained video Transformer as a representation hub and connects lightweight output-heads through docking interfaces. This enables flexible output-head design while providing direct access to representations from all layers of the backbone. We then introduce \textbf{Faster-WAM}, an instantiation of DoT for WAMs, which docks a single-layer action head onto a 30-layer video backbone. The docking interface fuses keys and values from all video layers and applies RoPE realignment. Without additional embodied pretraining, Faster-WAM achieves competitive performance on LIBERO and RoboTwin 2.0 while demonstrating strong out-of-distribution generalization on LIBERO-Plus. Faster-WAM also achieves the lowest end-to-end latency in our controlled comparison, requiring only 66.5 ms per inference --- a (3.2\times) speedup over Fast-WAM. Overall, these results demonstrate that the video-centric DoT architecture supports flexible task-specific head design while delivering low inference latency, strong action-prediction performance, and robust generalization.