W2A: Distilling World Priors into Action Models for Real-Time Robotic Control

📄 arXiv: 2611.02600v1 📥 PDF

作者: Xiaopeng Zhang, Yongjin Mu, Yueyang Weng, Chengzhi Zhao, Yanjie Li

分类: cs.RO

发布日期: 2026-11-02

💡 一句话要点

提出W2A框架以解决实时机器人控制中的计算延迟问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 世界动作模型 机器人控制 蒸馏训练 视频扩散模型 实时推理 动作生成 高效算法

📋 核心要点

  1. 现有的世界动作模型在测试时需要显式想象未来状态，导致计算开销大且延迟高，难以满足实时控制需求。
  2. W2A框架通过两阶段蒸馏，将视频扩散模型中的中间表示转化为动作模型，测试时不再依赖视频模型，从而提高效率。
  3. 在LIBERO数据集上，W2A实现了95.9%的成功率，并且推理速度比传统方法快约21倍，显示出显著的性能提升。

📝 摘要（中文）

世界动作模型（WAMs）在机器人控制中展现出良好前景，但现有方法在测试时需要显式想象未来状态，导致计算开销大且延迟高，不适合实时控制。本文提出W2A，一个两阶段蒸馏框架，通过在训练过程中将视频扩散模型中的中间去噪表示蒸馏到动作模型中，测试时完全丢弃视频模型。我们假设尽管视频潜在表示是高维的，但压缩的低维子空间足以为动作生成提供有效的监督。大量实验表明，W2A在模拟和现实环境中均表现出竞争力的成功率，并显著提高推理效率。在LIBERO数据集上，W2A实现了95.9%的平均成功率，推理速度比代表性WAM基线快约21倍。

🔬 方法详解

问题定义：现有的世界动作模型在测试阶段需要显式想象未来状态，这导致了高计算开销和延迟，使其不适合实时机器人控制。

核心思路：W2A框架通过两阶段蒸馏，将视频扩散模型中的中间去噪表示转化为动作模型，测试时完全不依赖视频模型，从而提高推理效率。

技术框架：W2A的整体架构包括两个主要阶段：第一阶段为训练阶段，利用视频扩散模型提取中间表示并进行蒸馏；第二阶段为推理阶段，直接使用蒸馏后的动作模型进行控制。

关键创新：W2A的核心创新在于通过蒸馏高维视频表示到低维动作模型，避免了测试时的高计算需求，这与传统方法的依赖于视频模型的方式本质上不同。

关键设计：在设计中，采用了特定的损失函数来优化蒸馏过程，并在网络结构上进行了调整，以确保低维表示能够有效地传递信息给动作模型。具体的参数设置和网络结构细节在实验部分进行了详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

W2A在LIBERO数据集上实现了95.9%的平均成功率，且推理速度比传统的世界动作模型快约21倍，显示出显著的性能提升。这一结果表明W2A在实时机器人控制中的有效性和优越性。

🎯 应用场景

W2A框架在实时机器人控制领域具有广泛的应用潜力，尤其是在需要快速反应的环境中，如自动化生产线、服务机器人和无人驾驶等。其高效的推理能力将推动机器人技术的进一步发展，提升机器人在复杂场景中的适应性和灵活性。

📄 摘要（原文）

World Action Models (WAMs) have recently shown great promise in robotic control, benefiting from the future imagination capability of large-scale pretrained video models. However, most existing WAMs require explicitly imagining future states at test time, incurring substantial computational overhead and latency that make them unsuitable for real-time robotic control. In this paper, we propose W2A, a two-stage distillation framework for real-time robotic manipulation that distills intermediate denoising representations from a video diffusion model into an action model during training, while entirely discarding the video model at test time. We hypothesize that although video latent representations are high-dimensional, a compressed low-dimensional subspace is sufficient to provide effective supervision for action generation. This makes it possible to transfer such information effectively into an action model. Extensive experiments in both simulation and real-world settings demonstrate competitive success rates while significantly improving inference efficiency. On LIBERO, W2A achieves a 95.9% average success rate. More importantly, W2A achieves about 21x faster inference than the representative WAM baseline.