LiLa-WAM: Lightweight Latent Reasoning World-Action Model for Robotic Manipulation

📄 arXiv: 2608.03701v1 📥 PDF

作者: Fan Yang, Yuting Su, Xiaobo Wang, Yuncheng You, Fugui Fan, Yuting Wu, Minghui Wu, Chenxu Zhao, JiaHong Ning, Peiguang Jing

分类: cs.RO, cs.AI

发布日期: 2026-08-04

💡 一句话要点

提出LiLa-WAM以解决机器人控制中的计算开销问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 机器人控制 世界-动作建模 潜在空间 轻量级模型 未来推理 自动化技术 智能制造

📋 核心要点

  1. 现有的世界-动作建模方法在计算开销上存在显著挑战，尤其是在资源有限的情况下难以训练。
  2. LiLa-WAM通过在紧凑的潜在空间中进行未来推理，提供了一种轻量级的解决方案，支持端到端训练。
  3. 实验结果显示，LiLa-WAM在多个任务上表现优异，成功率高达90.48%，显著提升了训练效率。

📝 摘要（中文）

世界-动作建模（WAM）作为机器人控制的新兴范式，使模型能够超越对观察的反应，预测场景的演变。然而，现有的WAM方法通常面临显著的计算开销。像素空间方法往往将大量计算资源分配给与控制无直接相关的视觉细节，而某些潜在空间方法则需要多阶段训练来构建推理空间，导致训练成本高昂。本文提出了LiLa-WAM，这是一种轻量级的世界-动作模型，能够在紧凑的潜在空间中进行未来推理，并且可以在单个24GB GPU上进行端到端训练。其核心设计是通过未来状态预测和动作生成共同塑造的紧凑潜在推理空间，使模型保持轻量且与控制良好对齐。实验结果表明，LiLa-WAM在RoboTwin 2.0、LIBERO和真实机器人任务上表现出色，在50个RoboTwin任务中实现了90.48%的成功率。

🔬 方法详解

问题定义：本文旨在解决现有世界-动作建模方法在计算开销和训练复杂性方面的不足。现有方法往往需要高昂的计算资源，限制了其在实际应用中的可行性。

核心思路：LiLa-WAM的核心思路是通过在紧凑的潜在空间中进行未来状态预测和动作生成，减少计算资源的需求，同时保持模型的有效性和准确性。

技术框架：LiLa-WAM的整体架构包括未来状态预测模块和动作生成模块，二者共同构成了紧凑的潜在推理空间。该模型支持端到端训练，能够在单个GPU上高效运行。

关键创新：LiLa-WAM的关键创新在于其紧凑的潜在推理空间设计，使得模型在保持轻量的同时，能够有效进行未来推理，区别于传统的多阶段训练方法。

关键设计：在模型设计中，采用了特定的损失函数以优化未来状态预测的准确性，同时在网络结构上进行了精简，以适应单GPU训练的需求。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

LiLa-WAM在RoboTwin 2.0等多个任务上取得了90.48%的成功率，显示出其在单GPU训练下的高效性和有效性，显著优于传统的世界-动作建模方法。

🎯 应用场景

LiLa-WAM的研究成果在机器人操作、自动化控制和智能制造等领域具有广泛的应用潜力。通过降低计算开销，该模型能够在资源受限的环境中实现高效的机器人控制，推动智能机器人技术的普及与发展。

📄 摘要（原文）

World-action modeling has emerged as a promising paradigm for robotic control, as it empowers models to go beyond reacting to observations and anticipate how a scene will evolve. However, existing WAMs often incur substantial computational overhead. Pixel-space methods often allocate substantial capacity to visual details that may not be directly relevant to control, while some latent-space methods require multi-stage training to construct the reasoning space. The resulting training cost can make such methods difficult to train under modest computational budgets. In this work, we propose LiLa-WAM, a lightweight world-action model that reasons about the future in a compact latent space and can be trained end-to-end on a single 24GB GPU. Its core design is a compact latent reasoning space jointly shaped by future-state prediction and action generation, which keeps the model lightweight while remaining well aligned with control. For task specification, we further propose the Visual Transition Token(VTT), a language-free task representation that encodes each task as a direction in visual feature space. Experiments on RoboTwin~2.0, LIBERO, and real-robot tasks demonstrate LiLa-WAM's effectiveness, achieving 90.48\% success across 50 RoboTwin tasks with single-GPU training.