OSWAM: An Effective World Action Model with One-Step Action Generation

📄 arXiv: 2610.35850v1 📥 PDF

作者: Guowen Zhang, Liyi Chen, Xu Hu, Pengfei Wang, Jingfan Chen, Chenhang He, Lei Zhang

分类: cs.CV, cs.RO

发布日期: 2026-10-26

备注: 18 pages, 6 figures

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出OSWAM以解决实时动作生成延迟问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 世界动作模型 自主驾驶 具身控制 去噪步骤 实时推理 动作生成 物理先验 特权信息蒸馏

📋 核心要点

  1. 现有的直接策略WAM需要多达数十步的去噪，导致显著的延迟，限制了实时应用的可能性。
  2. OSWAM通过构建想象令牌初始化扩散过程，减少去噪步骤，实现高质量动作的单步生成。
  3. 实验结果显示，OSWAM在自主驾驶和具身控制任务中性能优于传统方法，且速度提升显著。

📝 摘要（中文）

直接策略世界动作模型（WAM）在自主驾驶和具身控制中展现了将动作生成与未来视觉预测解耦的优势。然而，这些模型仍需数十步去噪以实现竞争力的动作质量，导致显著延迟，妨碍实时部署。为此，本文提出了一种有效的世界动作模型OSWAM，通过单步动作生成来减少去噪步骤。我们构建了想象令牌来初始化扩散过程，提供物理先验和动作条件表示，并引入未来条件的特权信息蒸馏，以增强未来感知的动作生成。实验表明，OSWAM在自主驾驶和具身控制中实现了与直接策略WAM和Joint-WAM相当甚至更好的结果，速度提升约3倍，支持在NVIDIA RTX 5090 GPU上以低至40毫秒的延迟进行实时推理。

🔬 方法详解

问题定义：本文旨在解决直接策略WAM在生成高质量动作时所需的多步去噪过程带来的延迟问题。现有方法在去噪步骤减少时，动作质量显著下降，影响实时应用。

核心思路：OSWAM的核心思路是通过引入想象令牌来初始化扩散过程，提供结构化的动作先验，从而实现高效的单步动作生成。这种设计旨在减少去噪步骤，同时保持动作质量。

技术框架：OSWAM的整体架构包括初始化阶段（使用想象令牌）、扩散过程（单步生成动作）和后处理阶段（应用未来条件的特权信息蒸馏）。各个模块协同工作，确保生成的动作既高效又高质量。

关键创新：OSWAM的主要创新在于通过想象令牌的引入，解决了传统方法中随机噪声初始化导致的动作序列不连贯问题。这一设计使得模型能够在单步内生成高质量动作，显著提升了效率。

关键设计：在模型设计中，OSWAM采用了特定的损失函数来优化生成的动作质量，并在网络结构中融入了物理先验和动作条件表示，以增强模型的生成能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

OSWAM在实验中表现出色，生成高质量动作的速度提升约为3倍，相较于直接策略WAM和Joint-WAM，支持低至40毫秒的实时推理。这一成果为实时智能系统的应用提供了新的可能性。

🎯 应用场景

OSWAM的研究成果在自主驾驶和具身控制等领域具有广泛的应用潜力。通过实现实时高效的动作生成，OSWAM能够提升自动驾驶系统的反应速度和决策能力，进而推动智能交通和机器人技术的发展。

📄 摘要（原文）

Direct-policy World Action Models (WAM) have demonstrated the benefits of decoupling action generation from explicit future visual prediction for efficient inference in autonomous driving and embodied control. However, they still require tens of denoising steps to achieve competitive action quality, incurring substantial latency and hindering real-time deployment. Simply reducing the number of denoising steps will collapse the nonlinear multi-step denoising trajectory into coarse updates, substantially degrading action quality. To reduce the denoising steps while enabling real-time action generation, we present an effective world action model with one-step action generation, namely OSWAM, for autonomous driving and embodied control. We argue that it is the absence of structured action priors in random noise initialization that forces direct-policy WAMs to recover coherent action sequences through iterative denoising. Hence, we construct imagination tokens to initialize the diffusion process, providing physical priors and action-conditioned representations. We further introduce privileged information distillation with future conditioning to enhance future-aware action generation. As a result, OSWAM can efficiently and effectively generate high quality actions in just one diffusion step. Our experiments demonstrate that OSWAM achieves comparable or even better results in both autonomous driving and embodied control than direct-policy WAM and Joint-WAM that require tens of steps. It obtains approximately $3\times$ speedup over direct-policy WAM baselines and supports real-time compiled inference with latency as low as 40ms on an NVIDIA RTX 5090 GPU. The project page is available at https://gwenzhang.github.io/OSWAM/