$ω$-0: A Latent Predictive World Action Model for Concurrent Humanoid Loco-Manipulation

📄 arXiv: 2608.06375v1 📥 PDF

作者: Zhe Li, Zhenzhe Zhang, Yangyang Wei, Wenjie Zhang, Xichen Yuan, Peiyuan Zhi, Gen Li, Xinying Guo, Fengjie Gao, Jianfei Yang, Shanghang Zhang

分类: cs.RO

发布日期: 2026-08-06

💡 一句话要点

提出$ω$-0模型以解决人形机器人同时运动与操作问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱六：视频提取与匹配 (Video Extraction) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 人形机器人 运动与操作 潜在预测模型 全身动作生成 家庭任务 多模态输入 控制器基础模拟

📋 核心要点

  1. 现有的人形机器人控制策略通常将运动与操作分开处理，导致在复杂家庭任务中的表现不佳。
  2. 本文提出的$ω$-0模型通过直接预测全身动作潜在变量，整合了运动与操作，提升了任务执行的协调性。
  3. 实验证明，$ω$-0在11个家庭任务中表现优异，能够实现更流畅的操作行为，且在多项基准测试中超越了现有方法。

📝 摘要（中文）

人形机器人在家庭任务中常需进行同时的运动与操作，但现有方法通常将这两者分开处理。本文提出$ω$-0，一个潜在预测的全身世界动作模型，能够根据语言指令、当前视觉观察和机器人自身状态直接预测适合控制器的全身动作潜在变量。与重建未来视频不同，$ω$-0学习紧凑的未来观察嵌入，结合潜在视觉前瞻与基于扩散的全身动作生成。该模型支持多种输入类型，并通过控制器基础的模拟重放将人类视觉运动先验转化为可执行的动作潜在变量。实验证明，$ω$-0在11个家庭任务中表现出色，能够实现流畅的边移动边操作行为，超越了多种基线模型。

🔬 方法详解

问题定义：本文旨在解决人形机器人在执行家庭任务时，运动与操作的协调性不足的问题。现有方法通常将这两者分开处理，导致机器人在复杂场景中的表现不理想。

核心思路：$ω$-0模型通过结合语言指令、视觉观察和机器人状态，直接预测全身动作潜在变量，避免了传统方法的分解处理，提升了任务执行的整体协调性。

技术框架：该模型的整体架构包括输入处理模块（支持多种视觉输入）、潜在变量预测模块（生成控制器兼容的全身动作潜在变量）和动作生成模块（基于扩散模型生成动作）。

关键创新：$ω$-0的核心创新在于其潜在预测机制，学习紧凑的未来观察嵌入，而非重建未来视频，从而实现更高效的动作生成。与现有的以手臂为中心或视频为中心的模型相比，$ω$-0提供了更全面的全身动作预测能力。

关键设计：模型设计中采用了控制器基础的模拟重放技术，以将人类视觉运动先验转化为可执行的动作潜在变量。此外，损失函数的设计也考虑了动作的流畅性和协调性，以确保生成的动作在实际执行中的有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在11个家庭任务的实验证明中，$ω$-0模型能够实现流畅的边移动边操作行为，且在性能上显著超越了多种基线模型，包括模仿学习、VLA、WAM等，展示了其在复杂任务中的优越性。

🎯 应用场景

$ω$-0模型在家庭机器人领域具有广泛的应用潜力，能够提升机器人在复杂家庭环境中的自主性和灵活性。未来，该模型可扩展至其他需要协调运动与操作的场景，如服务机器人、救援机器人等，推动人形机器人技术的进一步发展。

📄 摘要（原文）

Humanoid household tasks often require concurrent loco-manipulation, where the robot must move, adjust posture, maintain balance, and manipulate objects as a single coordinated behavior. Yet existing humanoid policies typically decompose locomotion and manipulation, while recent world-action models remain either arm-centric or video-centered. We present $ω$-0, a latent predictive whole-body world-action model for real-world humanoid concurrent loco-manipulation. Given a language instruction, current visual observation, and robot proprioceptive state, $ω$-0 directly predicts controller-compatible whole-body action latents for real-robot execution. Rather than reconstructing future videos, $ω$-0 learns compact future observation embeddings as a lightweight predictive objective, coupling latent visual foresight with diffusion-based whole-body action generation. The model supports egocentric RGB, exocentric RGB, and exocentric depth inputs, and leverages controller-based simulation replay to ground human/public visual-motion priors into robot-executable action latents. We further collect $ω$-HOME, a 40+ hour real-world household humanoid dataset with synchronized multi-view observations, whole-body SMPL motions, robot states, and action latents. Real-world experiments on 11 household tasks demonstrate that a single $ω$-0 model can produce smooth manipulate-while-moving behaviors and consistently outperform representative imitation learning, VLA, humanoid, and WAM baselines.