GAWM: A Compact Latent World-Action Model for Multi-Task Robot Manipulation

📄 arXiv: 2610.37091v1 📥 PDF

作者: Yang Liu, Xiaoli Liu, Liuzhao Li, Yuduo Song, Muyuan Liu, Xiang Gao

分类: cs.RO

发布日期: 2026-10-27

🔗 代码/项目: GITHUB

💡 一句话要点

提出GAWM以解决多任务机器人操控中的高成本与延迟问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 世界-动作模型 多任务学习 机器人操控 几何感知 轻量级模型 动作预测 深度学习

📋 核心要点

  1. 现有的世界-动作模型通常依赖于庞大的视觉-语言模型，导致训练和推理成本高昂。
  2. GAWM通过在冻结的DINOv3编码器的潜在空间中进行预测，提供了一种紧凑的多任务解决方案，显著降低了模型复杂度。
  3. 实验结果表明，GAWM在多个任务上表现优异，尤其是在数据或训练时间有限的情况下，性能提升明显。

📝 摘要（中文）

世界-动作模型（WAMs）将未来观察的预测纳入机器人策略学习中。然而，大多数WAMs依赖于数十亿参数的视觉-语言或视频生成模型，导致高昂的训练成本和推理延迟。本文提出GAWM（几何感知世界模型），这是一个紧凑的多任务WAM，能够在冻结的DINOv3编码器的潜在空间中预测未来观察。GAWM将每个相机视图的特征压缩为一小组标记，并通过一个轻量级预测器在两个未来时间点上预测这些标记。预测通过未来帧的密集补丁特征进行监督，要求其编码未来场景的空间布局。一个动作解码器直接从当前和预测的标记中回归未来动作。GAWM的参数少于1亿，并且没有机器人或视频的预训练，在RoboTwin 2.0上超越了数十亿参数的WAMs，并在LIBERO上与数十亿参数的VLA表现相当。在双臂机器人上，其在保留演示中的动作预测误差低于微调的数十亿参数VLA，且推理延迟显著降低。代码可在https://github.com/gaoxiang12/ga-wm获取。

🔬 方法详解

问题定义：本文旨在解决现有世界-动作模型在多任务机器人操控中面临的高训练成本和推理延迟问题。现有方法通常依赖于数十亿参数的模型，导致资源消耗过大。

核心思路：GAWM的核心思想是利用冻结的DINOv3编码器的潜在空间进行未来观察的预测，压缩相机视图特征为小规模标记，并通过任务条件的轻量级预测器进行预测。

技术框架：GAWM的整体架构包括特征压缩模块、轻量级预测器和动作解码器。特征压缩模块将每个相机视图的特征压缩为小标记，预测器在两个未来时间点上进行预测，而动作解码器则从当前和预测的标记中回归未来动作。

关键创新：GAWM的主要创新在于其紧凑的设计和任务条件的预测机制，显著减少了模型参数数量，同时保持了预测精度。这与传统的庞大模型形成鲜明对比。

关键设计：GAWM的参数设置少于1亿，且没有进行机器人或视频的预训练。损失函数采用未来帧的密集补丁特征进行监督，确保模型能够有效编码未来场景的空间布局。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

GAWM在RoboTwin 2.0上超越了数十亿参数的WAMs，并在LIBERO上与数十亿参数的VLA表现相当。在双臂机器人实验中，其动作预测误差低于微调的数十亿参数VLA，且推理延迟显著降低，展示了其优越的性能。

🎯 应用场景

GAWM在多任务机器人操控中的应用潜力巨大，能够在资源受限的环境中实现高效的动作预测。其紧凑的模型设计使其适用于实时应用，如工业自动化、服务机器人和家庭助理等领域，未来可能推动机器人技术的广泛应用。

📄 摘要（原文）

World-action models (WAMs) incorporate the prediction of future observations into robot policy learning. However, most WAMs build on billion-parameter vision-language or video-generation backbones, which incur high training cost and inference latency. In this letter, we present GAWM (Geometry-Aware World Model), a compact multi-task WAM that predicts future observations in the latent space of a frozen DINOv3 encoder. GAWM compresses the features of each camera view into a small set of tokens. A lightweight predictor, conditioned on the task rather than on actions, forecasts these tokens at two future horizons. The forecast is supervised with the dense patch features of future frames, which requires it to encode the spatial layout of the future scene. An action decoder directly regresses a chunk of future actions from the current and predicted tokens. With fewer than 100M parameters and no robot or video pretraining, GAWM outperforms billion-parameter WAMs on RoboTwin 2.0 and performs comparably to billion-parameter VLAs on LIBERO. On a dual-arm robot, it achieves lower action-prediction error on held-out demonstrations than a fine-tuned billion-parameter VLA, with substantially lower inference latency. Ablation studies show that the latent world model substantially improves performance when training data or training time is limited. Code is available at https://github.com/gaoxiang12/ga-wm.