MobileWAM: Bridging World Action Models to Mobile Manipulation with Chain-of-Foresight
作者: Zehua Fan, Junjie He, Wenxuan Song, Xi Wang, Wenqi Lyu, Linge Zhao, Fuhao Li, Zihan You, Yifei Yang, Kaiming Xu, Qi Jiang, Yue Jiang, Haoang Li, Cheng Chi, Bailin Li, Yan Wang
分类: cs.CV
发布日期: 2026-08-05
💡 一句话要点
提出MobileWAM以解决移动操控中的动态协调问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 移动操控 世界动作模型 视频生成 动态协调 链式前瞻 混合变换器 机器人学习
📋 核心要点
- 现有的世界动作模型主要应用于桌面操作，无法有效应对移动操控中的动态变化和协调问题。
- 本文提出MobileWAM，通过混合变换器架构结合视频生成和动作专家，实现了动态场景下的全身操控。
- 实验结果表明，MobileWAM在ManiSkill-HAB上超越了现有的移动操控策略，并在多任务上表现出强大的泛化能力。
📝 摘要（中文）
基于视频生成的世界动作模型（WAM）在机器人学习中逐渐兴起，但仍局限于桌面操作。移动操控需要在场景动态中实现同时的移动和全身操控，而现有方法多采用动态盲视觉编码器和手工协调。为此，本文提出MobileWAM，一种混合变换器架构，通过层级联合注意力将预训练的视频扩散变换器与轻量级动作专家融合，转化互联网规模的运动先验为全身控制。为增强监督，进一步提出链式前瞻（CoF），通过中间表示预测未来潜在片段的链条，提升了模型的泛化能力。MobileWAM在多项任务上超越了现有的移动操控策略，并在真实的ARX Lift2移动操控器上进行了微调。
🔬 方法详解
问题定义：本文旨在解决移动操控中动态协调不足的问题。现有方法多依赖于动态盲视觉编码器，无法有效处理复杂场景中的移动与操控。
核心思路：MobileWAM通过混合变换器架构，将预训练的视频扩散变换器与轻量级动作专家结合，利用层级联合注意力实现动态场景下的全身控制。
技术框架：整体架构包括视频生成模块、动作专家模块和链式前瞻模块。视频生成模块负责生成当前帧，动作专家模块则根据运动意图进行动态决策，链式前瞻模块用于增强监督。
关键创新：最重要的创新在于将动作专家设计为共享、移动和操控三种专家的混合体，能够根据动作令牌的运动意图进行软路由，显著提升了动态场景下的操控能力。
关键设计：在网络结构上，采用了层级联合注意力机制，损失函数设计上结合了视频-动作去噪方案，确保了模型在推理时的高效性和准确性。具体参数设置和网络细节将在后续代码中发布。
🖼️ 关键图片
📊 实验亮点
MobileWAM在ManiSkill-HAB基准测试中超越了现有的移动操控策略，展示了显著的性能提升。具体而言，模型在多项任务上表现出更高的成功率和更快的执行速度，验证了其在动态场景下的有效性和泛化能力。
🎯 应用场景
MobileWAM的研究成果在移动机器人领域具有广泛的应用潜力，尤其是在复杂环境中的自主导航和操控任务。其创新的动态协调能力可以推动智能家居、物流配送和工业自动化等多个领域的发展，提升机器人在真实世界中的适应性和效率。
📄 摘要（原文）
World action models (WAMs) built on video generation backbones are a rising recipe for robot learning, yet remain confined to tabletop manipulation. Mobile manipulation demands simultaneous locomotion and whole-body manipulation amid scene-scale dynamics, yet is still dominated by dynamics-blind visual encoders with hand-crafted coordination. We bridge this gap with MobileWAM, a mixture-of-transformers architecture that fuses a pretrained video diffusion transformer with a lightweight action expert through layerwise joint attention, translating internet-scale motion priors into whole-body control. To reconcile the heterogeneous dynamics of moving and manipulating, each feed-forward layer of the action expert becomes a three-expert mixture of shared, locomotion, and manipulation experts, softly routed by the motion intent in the action tokens. To densify supervision, we further propose Chain-of-Foresight (CoF): intermediate representations sequentially predict a chain of future latent chunks, each step conditioned on its predecessor. CoF pairs naturally with our decoupled video--action denoising scheme. At deployment, the WAM serves as a pure current-frame encoder; foresight acts only through gradients, so at inference the foresight chain and video generation are discarded, leaving only policy-level cost. MobileWAM surpasses state-of-the-art mobile manipulation policies on ManiSkill-HAB and fine-tunes to a real ARX Lift2 mobile manipulator across diverse tasks with strong generalization. Code will be released soon.