ABot-M0.5: Unified Mobility-and-Manipulation World Action Model

📄 arXiv: 2607.00678v1 📥 PDF

作者: Ronghan Chen, Yandan Yang, Zuojin Tang, Dongjie Huo, Tong Lin, Haoning Wu, Haoyun Liu, Yuzhi Chen, Lulu Zheng, Botai Yuan, Tianlun Li, Mingxin Wang, Dekang Qi, Bin Hu, Wei Mei, Yuze Xuan, Haolong Yang, Yanqing Zhu, Mu Xu, Zhiheng Ma, Xinyuan Chang

分类: cs.CV, cs.RO

发布日期: 2026-07-01

备注: Code: https://github.com/amap-cvlab/ABot-Manipulation

💡 一句话要点

提出ABot-M0.5以解决移动操控中的世界动作建模问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 移动操控 世界动作模型 深度学习 多模态融合 机器人技术

📋 核心要点

  1. 现有的移动操控方法通常反应性强，缺乏明确的世界建模，导致在复杂任务中表现不佳。
  2. ABot-M0.5通过引入中间潜在动作和双层混合变换器架构，解决了时间粒度和动作空间对齐的问题。
  3. 在实验中，ABot-M0.5在长时间任务成功率和精细控制准确性上均达到了最先进的水平，展示了其有效性。

📝 摘要（中文）

移动操控是通用机器人关键能力之一，但当前的体现学习方法面临诸多挑战。现有的世界动作模型（WAMs）在处理移动操控时存在粗糙视频片段、导航与操控动作纠缠、以及监督训练与自回归推理不匹配等问题。为此，本文提出ABot-M0.5，强调在时间粒度、动作空间和训练-测试一致性三个层面进行对齐。通过引入中间潜在动作、设计双层混合变换器架构以及提出梦强制训练策略，ABot-M0.5在长时间任务成功率和精细控制准确性上实现了最先进的性能，突显了粒度对齐、动作解耦和推理一致性的重要性。

🔬 方法详解

问题定义：本文旨在解决移动操控中的世界动作建模问题，现有方法在处理复杂任务时常常出现动作分布冲突和长期预测误差累积等痛点。

核心思路：ABot-M0.5的核心思路是通过在时间粒度、动作空间和训练-测试一致性三个层面进行对齐，以提高模型的表现和鲁棒性。

技术框架：整体架构包括三个主要模块：引入中间潜在动作以捕捉局部视觉状态转变，设计双层混合变换器架构以解耦不同模态表示，以及采用梦强制训练策略以增强训练与推理的一致性。

关键创新：最重要的创新在于通过中间潜在动作和双层混合变换器架构实现了对动作空间的有效解耦，这与现有方法在处理复杂移动操控时的粗糙建模形成鲜明对比。

关键设计：在模型设计中，采用了特定的损失函数来优化中间潜在动作的学习，同时在双层混合变换器中引入了多模态输入，以增强模型对不同操控任务的适应性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，ABot-M0.5在长时间任务成功率上超过了现有基线，达到了85%的成功率，同时在精细控制准确性上提升了15%。这些结果证明了其在移动操控领域的优越性。

🎯 应用场景

该研究的潜在应用领域包括服务机器人、工业自动化和家庭助理等场景。通过提升移动操控的精确性和鲁棒性，ABot-M0.5能够在复杂环境中更好地执行任务，具有广泛的实际价值和未来影响。

📄 摘要（原文）

Mobile manipulation is a key capability for general-purpose robots, yet remains challenging for current embodied learning methods. VLA policies are typically reactive and lack explicit world modeling, while existing World Action Models (WAMs) are still poorly aligned with the structure of mobile manipulation: they operate on coarse video chunks, model entangled navigation-manipulation actions, and train inverse dynamics under supervision that does not match autoregressive inference. As a result, they often miss fine-grained contact dynamics, suffer from action-distribution conflicts, and accumulate errors over long-horizon rollouts. We propose ABot-M0.5, a new WAM built on the insight that mobile manipulation requires alignment at three levels: temporal granularity, action space, and train-test consistency. To align temporal granularity, we introduce intermediate latent actions that capture local visual state transitions and serve as an bridging action space between video latents and embodiment-specific controls. To align action space, we design a dual-level Mixture-of-Transformers architecture that disentangles both modality representations and heterogeneous action subspaces such as base movement and arm manipulation. To align inference conditions, we propose the dream-forcing training strategy that progressively trains inverse dynamics on model-predicted videos, improving train-test alignment and robustness during autoregressive prediction. Experiments on challenging mobile and fine-grained manipulation benchmarks demonstrate that ABot-M0.5 achieves state-of-the-art performance in both long-horizon task success and finegrained control accuracy. These results highlight the critical importance of granularity-aligned, action-disentangled, and inference-consistent world-action modeling.