Latent Action as Intention Enables Efficient Future Imagination for World Action Models

📄 arXiv: 2608.24882v1 📥 PDF

作者: Xiang Li, Yupeng Zheng, Songen Gu, Huailiang Ma, Feng Yu, Xian Nie, Shanshuai Yuan, Yujie Zang, Weize Li, Shuai Tian, Moyang Liu, Ya-Qin Zhang, Wenchao Ding

分类: cs.RO

发布日期: 2026-08-25

💡 一句话要点

提出LAWA以解决WAM在未来观察生成中的效率问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 世界行动模型 潜在动作 未来想象 机器人控制 推理效率 泛化能力 少量样本学习

📋 核心要点

  1. 现有的世界行动模型在测试时生成未来观察导致显著延迟，影响了机器人控制的效率和泛化能力。
  2. 本文提出LAWA架构，通过使用紧凑的潜在动作作为未来意图的表示，避免了生成未来观察的过程，提高了测试时的效率。
  3. 在RoboCasa实验中，LAWA在少量样本和完整数据设置下分别实现了65.6%和80.8%的成功率，显著优于Fast-WAM基线。

📝 摘要（中文）

世界行动模型（WAMs）通过建模观察的演变来改善机器人控制，但在测试时生成未来观察会导致显著延迟。Fast-WAM虽然提高了效率，但在稀缺的机器人演示和分布外场景中，其泛化能力较差。为此，本文提出了LAWA，一种使用紧凑潜在动作作为未来意图的操作表示的WAM架构，能够在不生成未来观察的情况下实现高效的测试时未来想象。LAWA在RoboCasa上实现了65.6%和80.8%的最新平均成功率，分别在少量样本和完整数据设置中，相较于Fast-WAM基线提升了9.6和4.5个百分点，同时推理延迟降低了42.9%。

🔬 方法详解

问题定义：本文旨在解决现有世界行动模型在测试时生成未来观察所带来的延迟问题。Fast-WAM虽然提高了效率，但在稀缺演示和分布外场景中泛化能力不足。

核心思路：LAWA通过引入紧凑的潜在动作作为未来意图的操作表示，避免了生成未来观察的过程，从而实现高效的未来想象。该设计旨在提高推理速度和泛化能力。

技术框架：LAWA的整体架构包括一个离散的标记器，通过无动作的预训练增强生成操作目标，同时与可执行的动作块共同去噪一个连续的潜在状态。在推理时省略未来视频分支。

关键创新：LAWA的核心创新在于使用潜在动作作为未来意图的表示，这一方法与现有的未来意识替代方案相比，显著提高了推理效率和泛化能力。

关键设计：LAWA采用了离散标记器和无动作预训练的结合，生成以操作为中心的代码本目标，并在去噪过程中结合可执行的动作块，确保了模型的高效性和准确性。该模型在推理时的延迟降低了42.9%。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

LAWA在RoboCasa上实现了65.6%和80.8%的成功率，分别在少量样本和完整数据设置中，相较于Fast-WAM基线提升了9.6和4.5个百分点。同时，推理延迟降低了42.9%，显示出该方法在性能和效率上的优势。

🎯 应用场景

该研究的潜在应用领域包括机器人控制、自动化操作和人机交互等。通过提高机器人在复杂环境中的决策效率，LAWA能够在实际应用中显著提升机器人执行任务的能力，具有广泛的实际价值和未来影响。

📄 摘要（原文）

World action models (WAMs) improve robot control by modeling how observations evolve, but generating future observations at test time incurs substantial latency. Fast-WAM removes this process for efficiency; however, our matched implementations show lower generalization for Fast-WAM than for future-aware alternatives, especially with scarce robot demonstrations and in out-of-distribution scenarios. To bridge this gap, we introduce LAWA, a WAM architecture that uses compact latent actions as an operational representation of future intentions, enabling efficient test-time future imagination without generating future observations. Specifically, a discrete tokenizer enhanced by action-free pre-training produces manipulation-centric codebook targets. LAWA jointly denoises a continuous latent state anchored to these targets with executable action chunks while omitting the future-video branch at inference. On RoboCasa, LAWA achieves state-of-the-art average success rates of 65.6% and 80.8% in the few-shot and full data settings, improving over the matched Fast-WAM baseline by 9.6 and 4.5 points, respectively. It also preserves the performance level of the matched Joint-WAM variant while requiring 42.9% lower inference latency. LAWA also demonstrates competitive zero-shot robustness on LIBERO-Plus and superior performance on real-world tasks. These results show that future imagination need not be discarded: retaining it with compact latent actions yields an effective trade-off among performance, generalization, and latency. Code and models will be released.