World Dreamer v5-lite: A Multi-Robot World Action Model with One Dreamer

📄 arXiv: 2610.37518v1 📥 PDF

作者: Guoning Wu, Zijian Cai, Yuhang Zhang, Ying Liu, Yongbin Zheng

分类: cs.RO

发布日期: 2026-10-27

备注: 10 pages, 4 figures. Guoning Wu and Zijian Cai share first authorship. Yongbin Zheng is the corresponding author

💡 一句话要点

提出World Dreamer v5-lite以解决多机器人控制中的视角整合问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多机器人控制 共享世界状态 动作预测 视觉-语言模型 掩蔽视角训练 预训练模型 机器人协作 智能制造

📋 核心要点

  1. 现有多机器人控制方法在整合多个视角时，无法有效建立空间对应关系，限制了动作预测的准确性。
  2. World Dreamer v5-lite通过共享世界状态和独立的动作流来解决这一问题，利用预训练模型增强视角间的信息交流。
  3. 在RoboFactory和真实机器人任务中，World Dreamer v5-lite分别达到了74.0%和78.8%的平均成功率，显著优于现有基线。

📝 摘要（中文）

多机器人控制需要整合分布式摄像头视角，同时预测各自的动作序列。现有的视觉-语言-动作和世界-动作模型主要针对单一机器人，无法有效建立多个视角之间的空间对应关系。World Dreamer v5-lite是一个基于共享世界状态的多机器人世界-动作模型，旨在实现机器人特定的动作预测。该模型利用预训练视频编码器的校准特征填充共享状态，并保持空间大小不变。通过视角-语言模型提供场景上下文和每个机器人的查询，促进机器人间的信息交换。经过在RoboFactory和真实机器人上的广泛预训练，World Dreamer v5-lite在多个任务中表现出色，显著提高了成功率。

🔬 方法详解

问题定义：本论文旨在解决多机器人控制中视角整合不足的问题，现有方法无法有效建立不同机器人视角之间的空间对应关系，导致动作预测不准确。

核心思路：World Dreamer v5-lite通过构建一个共享的世界状态，允许各个机器人在此基础上进行特定的动作预测，同时保持各自的动作流独立，从而提高了信息的利用效率。

技术框架：该模型的整体架构包括预训练视频编码器、视角-语言模型和查询机制。预训练视频编码器用于生成校准特征，视角-语言模型提供场景上下文，而查询机制则允许机器人间的信息交换。

关键创新：最重要的创新点在于通过共享世界状态来实现多机器人间的协作，同时采用了掩蔽视角的合作训练方法，鼓励机器人利用其他机器人共享的观察数据。

关键设计：模型设计中采用了固定的空间大小来填充共享状态，并使用了特定的损失函数来优化动作预测的准确性。此外，预训练阶段使用了超过10,000小时的轨迹数据，确保了模型的鲁棒性和泛化能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

World Dreamer v5-lite在RoboFactory上实现了74.0%的平均成功率，比最强基线高出23.7个百分点。在四个真实机器人任务中，成功率达到了78.8%，比基线高出13.8个百分点，显示出显著的性能提升。

🎯 应用场景

该研究的潜在应用领域包括智能制造、无人驾驶车队、灾难救援等多机器人协作场景。通过提高多机器人系统的协作能力，能够显著提升任务执行的效率和安全性，具有重要的实际价值和未来影响。

📄 摘要（原文）

Multi-robot control requires integrating distributed camera views while predicting separate action sequences. Most vision-language-action and world-action models target one robot. Combining multiple views alone does not establish spatial correspondence between them. World Dreamer v5-lite is a multi-robot world-action model built around a shared world state for robot-specific action prediction. Calibrated features from a pretrained video encoder populate this state in workspace coordinates; its spatial size remains fixed as views are added. A vision-language model provides scene context and one query per robot. The queries read the shared state and exchange pose-aware information, while their action streams remain separate. Masked-view cooperative training withholds selected camera views from both visual branches while retaining all action targets. This encourages the use of observations shared by other robots. Pretraining uses more than 10,000 hours of trajectories from 20 simulated robot types, RoboFactory, and real robots. On RoboFactory, World Dreamer v5-lite achieves 74.0% mean success, 23.7 percentage points above the strongest evaluated baseline. Across four real-robot tasks, it reaches 78.8% mean success, a margin of 13.8 points. It also reaches 58.08% overall on RoboCasa365.