Faster-WAM: Efficient Inference-Time Future Conditioning for Robust World Action Models

📄 arXiv: 2608.04404v1 📥 PDF

作者: Weiheng Zhao, Haoyi Jiang, Xin Shi, Liu Liu, Fan Huang, Zhizhong Su, Wei Sui, Xinggang Wang

分类: cs.CV

发布日期: 2026-08-05

💡 一句话要点

提出Faster-WAM以解决高效推理时间未来条件化问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 世界动作模型 未来条件化 机器人操作 稀疏表示 性能提升 推理效率 鲁棒性 自动化系统

📋 核心要点

  1. 现有的世界动作模型在推理时面临高计算成本与鲁棒性之间的权衡，影响了机器人操作的效率与效果。
  2. Faster-WAM通过引入稀疏未来条件化框架，优化了未来表示的计算与重用，提升了推理效率。
  3. 在LIBERO-Plus基准上，Faster-WAM的成功率从49.14%提升至73.57%，并且比联合WAM快2.21倍，展现了优越的性能。

📝 摘要（中文）

世界动作模型（WAMs）通过学习环境如何在当前观察之外演变来改善机器人操作。然而，现有方法面临一个基本困境：联合WAM在推理过程中保留未来感知表示，但计算成本高昂，而高效替代方案则在推理时去除未来建模，可能失去时间推理的鲁棒性。本文重新审视了未来表示在WAM中的作用，表明推理时间的未来条件化对分布转移下的泛化至关重要。为此，本文提出了Faster-WAM，一种高效的未来条件化WAM，能够在避免昂贵的视频-动作交互的同时保留未来表示。实验表明，Faster-WAM在性能效率权衡上显著优于现有WAMs。

🔬 方法详解

问题定义：本文旨在解决现有世界动作模型在推理过程中面临的高计算成本与鲁棒性不足的问题。现有联合WAM在保留未来感知表示的同时，计算开销过大，而高效替代方案则缺乏未来建模，导致鲁棒性下降。

核心思路：Faster-WAM的核心思路是通过稀疏未来条件化框架，优化未来表示的计算与重用，从而在推理过程中保持未来感知的同时降低计算复杂度。

技术框架：Faster-WAM的整体架构包括两个主要模块：SparseMoT和Interval KV-Fusion。SparseMoT通过选择性的视频-动作交互替代了传统的层级融合，而Interval KV-Fusion则在不增加注意力复杂度的情况下聚合多深度的未来表示。

关键创新：Faster-WAM的关键创新在于其稀疏未来条件化框架，能够在推理过程中有效重用未来表示，避免了昂贵的计算开销。这一设计与现有方法的本质区别在于其选择性处理未来信息的能力。

关键设计：在网络结构方面，Faster-WAM采用了选择性交互的设计，减少了不必要的计算。同时，损失函数的设计也考虑了未来表示的有效性，以确保模型在不同分布下的泛化能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

Faster-WAM在LIBERO-Plus基准上的成功率从49.14%提升至73.57%，显示出显著的性能提升。同时，该模型在推理速度上比联合WAM快2.21倍，展现了优越的效率与效果平衡。此外，Faster-WAM在LIBERO和RoboTwin 2.0上也达到了当前的最先进性能，证明了其在实际操作中的强鲁棒性。

🎯 应用场景

Faster-WAM的研究成果在机器人操作、自动化制造和智能家居等领域具有广泛的应用潜力。通过提高机器人在复杂环境中的操作效率和鲁棒性，该模型能够促进更智能的自动化系统的发展，提升人机协作的效果。未来，Faster-WAM还可能在自主驾驶和无人机控制等领域发挥重要作用。

📄 摘要（原文）

World Action Models (WAMs) improve robot manipulation by learning how the environment evolves beyond the current observation. However, existing approaches face a fundamental dilemma: Joint-WAMs preserve future-aware representations during inference but incur prohibitive computation costs, while efficient alternatives remove future modeling at inference time and may lose the robustness benefits of temporal reasoning. In this work, we revisit the role of future representations in WAMs and show that inference-time future conditioning is critical for generalization under distribution shifts. This observation motivates Faster-WAM, an efficient future-conditioning WAM that preserves future representations while avoiding expensive video-action interaction. Faster-WAM introduces a sparse future-conditioning framework that computes future representations once and selectively reuses them throughout action denoising. Specifically, we propose SparseMoT to replace ubiquitous layer-wise fusion with selective video-action interaction at a compact subset of network stages, and Interval KV-Fusion to aggregate multi-depth future representations without increasing attention complexity. Experiments demonstrate that Faster-WAM achieves a substantially better performance-efficiency trade-off than existing WAMs. On the out-of-distribution LIBERO-Plus benchmark, Faster-WAM improves success rate from 49.14% to 73.57% compared with Fast-WAM, while running 2.21$\times$ faster than Joint-WAM. It further achieves state-of-the-art performance on LIBERO and RoboTwin 2.0, while demonstrating strong robustness in real-world manipulation.