Trace-WAM: Learning to Act via 3D Motion Prediction for World Action Models

📄 arXiv: 2610.36840v1 📥 PDF

作者: Xu Hu, Changjie Wu, Linzhe Shi, Hang Zhang, Chen Yang, Lingjun Zhang, Guowen Zhang, Mu Xu, Junran Peng, Qing Li, Zhaoxiang Zhang

分类: cs.RO

发布日期: 2026-10-27

备注: 11 pages, 6 figures. Project page: https://trace-wam.github.io/

💡 一句话要点

提出Trace-WAM以通过3D运动预测提升机器人控制能力

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)

关键词: 世界行动模型 3D运动预测 机器人控制 视频预测 动作生成 混合变换器 动态变化 智能机器人

📋 核心要点

  1. 现有的世界行动模型在机器人操控中面临着对未来视觉预测与动作生成的有效结合的挑战。
  2. Trace-WAM通过引入未来3D运动预测作为辅助目标，增强了视频-动作学习的能力，直接描述操控中的动态变化。
  3. 实验结果显示，Trace-WAM在多个数据集上表现出色，尤其在有限演示和分布转移情况下，相较于Fast-WAM有显著提升。

📝 摘要（中文）

世界行动模型（WAMs）通过将未来视觉预测与动作生成相结合来学习机器人控制的表示。成功的操控主要依赖于机器人与任务相关物体的演变，同时未来视频预测还必须重建整个场景的外观和背景。因此，我们提出了Trace-WAM，该方法通过未来3D运动预测作为辅助目标来增强视频-动作学习。该目标监督时间点对应关系以及图像平面位移和深度变化，直接描述操控中的交互动态和空间变化。为此，我们采用了三分支混合变换器（Tri-MoT）架构，联合学习视频预测、运动预测和动作生成。运动专家从当前视觉特征预测未来轨迹，使运动监督塑造用于动作生成的表示。由于动作专家不消耗预测轨迹，推理保持当前观察策略路径：单次视觉前向传递后进行动作去噪。实验结果表明，在RoboCasa-GR1、LIBERO和LIBERO-Plus上，Trace-WAM在有限演示和分布转移下表现出强大的分布内性能和分布外泛化能力，特别是在与Fast-WAM的比较中取得了显著提升。

🔬 方法详解

问题定义：本论文旨在解决现有世界行动模型在机器人操控中对未来视觉预测与动作生成结合不足的问题，导致操控效果不佳。

核心思路：Trace-WAM通过引入未来3D运动预测作为辅助目标，增强了视频-动作学习的能力，能够更好地描述操控中的交互动态和空间变化。

技术框架：整体架构采用三分支混合变换器（Tri-MoT），包括视频预测、运动预测和动作生成三个主要模块，协同工作以提升模型的表现。

关键创新：最重要的技术创新在于通过运动专家预测未来轨迹，利用运动监督来塑造用于动作生成的表示，这与现有方法的设计思路有本质区别。

关键设计：在网络结构上，采用三分支架构，损失函数设计上结合了时间点对应关系、图像平面位移和深度变化等多种因素，以确保模型能够有效学习操控中的动态变化。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，Trace-WAM在RoboCasa-GR1、LIBERO和LIBERO-Plus数据集上表现优异，尤其在有限演示和分布转移情况下，相较于Fast-WAM取得了显著提升，具体性能数据未详细披露，但提升幅度明显。

🎯 应用场景

Trace-WAM的研究成果具有广泛的应用潜力，特别是在机器人操控、自动化生产和智能家居等领域。通过提升机器人对环境的理解和交互能力，该技术能够实现更高效的任务执行和人机协作，未来可能推动智能机器人技术的进一步发展。

📄 摘要（原文）

World Action Models (WAMs) learn representations for robot control by coupling future visual prediction with action generation. Successful manipulation depends primarily on how the robot and task-relevant objects evolve, whereas future-video prediction must also reconstruct the appearance and background of the entire scene. We therefore propose Trace-WAM, which augments video-action learning with future 3D motion prediction as an auxiliary objective. This objective supervises temporal point correspondence together with image-plane displacement and depth change, directly describing the interaction dynamics and spatial changes involved in manipulation. To this end, we adopt a three-branch Mixture-of-Transformer (Tri-MoT) architecture to jointly learn video prediction, motion prediction, and action generation. The motion expert predicts future trajectories from current visual features, allowing motion supervision to shape the representations used for action generation. Because the action expert does not consume predicted trajectories, inference retains the current-observation policy path: a single visual forward pass followed by action denoising. Experiments on RoboCasa-GR1, LIBERO, and LIBERO-Plus demonstrate strong in-distribution performance and out-of-distribution generalization, with particularly clear gains over Fast-WAM under limited demonstrations and distribution shifts.