Qwen-RobotWorld Technical Report: Unifying Embodied World Modeling through Language-Conditioned Video Generation

📄 arXiv: 2606.17030v1 📥 PDF

作者: Jie Zhang, Xiaoyue Chen, Anzhe Chen, Chenxu Lv, Deqing Li, Gengze Zhou, Hang Yin, Haoqi Yuan, Haoyang Li, Jiahao Li, Jiazhao Zhang, Jingren Zhou, Kaiyuan Gao, Kun Yan, Lihan Jiang, Ningyuan Tang, Pei Lin, Qihang Peng, Shengming Yin, Tianhe Wu, Tianyi Yan, Xiao Xu, Yan Shu, Yanran Zhang, Ye Wang, Yi Wang, Yilei Chen, Yixian Xu, Yiyang Huang, Yuxiang Chen, Zekai Zhang, Zhendong Wang, Zhixing Lei, Zhixuan Liang, Zihao Liu, Zikai Zhou, Xiong-Hui Chen, Chenfei Wu

分类: cs.CV

发布日期: 2026-06-15

💡 一句话要点

提出Qwen-RobotWorld以统一语言条件下的机器人世界建模

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱七：动作重定向 (Motion Retargeting) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 具身智能 视频生成 多模态学习 语言条件建模 机器人控制 数据合成 政策评估

📋 核心要点

  1. 现有方法在具身智能任务中缺乏统一的语言接口，导致多模态信息整合困难。
  2. 论文提出了一种基于语言条件的视频生成模型，通过双流扩散变换器和具身世界知识实现统一建模。
  3. 实验结果显示，该模型在EWMBench和DreamGen Bench上排名第一，超越所有开源模型，展现出强大的泛化能力。

📝 摘要（中文）

我们介绍了Qwen-RobotWorld，这是一种基于语言条件的视频世界模型，旨在提升具身智能的能力。该模型利用自然语言作为统一的动作接口，从当前观察中预测物理基础的未来视觉轨迹，适用于机器人操作、自动驾驶、室内导航和人机转移等场景。通过三部分设计实现了这一目标：双流MMDiT与MLLM动作编码、具身世界知识（EWK）以及通用+专家渐进课程。实验结果显示，该模型在多个基准测试中表现优异，展现出强大的竞争力和良好的泛化能力。

🔬 方法详解

问题定义：本论文旨在解决现有具身智能模型在多模态信息整合和任务泛化能力不足的问题。现有方法往往缺乏统一的语言接口，导致在不同任务间的迁移学习效果不佳。

核心思路：Qwen-RobotWorld通过语言条件的视频生成模型，提供一个统一的动作接口，能够在多种任务中进行有效的视觉轨迹预测，从而提升模型的泛化能力和适应性。

技术框架：该模型由三个主要模块组成：1) 双流MMDiT与MLLM动作编码，结合了Qwen2.5-VL的语义信息与视频变分自编码器的潜在空间；2) 具身世界知识（EWK），包含超过200M帧的8.6M视频-文本语料库，涵盖20多种具身体态和500多种动作类别；3) 通用+专家渐进课程，分阶段训练模型，先学习一般视觉先验，再在共享语言接口下注入具身专业化。

关键创新：最重要的创新在于将语言条件与视频生成相结合，形成一个统一的模型架构，使得模型能够在多种具身智能任务中进行有效的知识迁移和应用。与现有方法相比，该模型在多模态信息整合和任务适应性上具有显著优势。

关键设计：模型采用60层的双流扩散变换器，利用层级联合注意力机制进行语义与视觉信息的融合。同时，训练过程中使用了特定的损失函数以优化模型在多任务中的表现，确保了模型的稳定性和泛化能力。

📊 实验亮点

在实验中，Qwen-RobotWorld在EWMBench和DreamGen Bench上整体排名第一，超越所有开源模型，特别是在WorldModelBench和PBench上表现出色，显示出强大的竞争力。此外，零样本分析在RoboTwin-IF基准测试中进一步支持了模型的稳健泛化能力和多视角一致性。

🎯 应用场景

Qwen-RobotWorld的潜在应用场景包括机器人操作、自动驾驶、室内导航等领域。通过提供统一的语言接口，该模型能够在不同任务间实现知识迁移，提升机器人在复杂环境中的决策能力和执行效率。未来，该技术有望推动具身智能的发展，使机器人能够更好地理解和适应人类指令。

📄 摘要（原文）

We introduce Qwen-RobotWorld, a language-conditioned video world model for embodied intelligence. With natural language as a unified action interface, it predicts physically grounded future visual trajectories from current observations across robotic manipulation, autonomous driving, indoor navigation, and human-to-robot transfer. This unified formulation provides three promising application directions: synthetic data generation for policy training augmentation, scalable virtual environments for policy evaluation, and language-guided planning signals for downstream robot control. This is achieved through a three-part design: a) Double-Stream MMDiT with MLLM Action Encoding, where a 60-layer double-stream diffusion transformer couples frozen Qwen2.5-VL semantics with video-VAE latents through layer-wise joint attention; b) Embodied World Knowledge (EWK), an 8.6M video-text corpus (200M+ frames) with action-language mapping over 20+ embodiments and 500+ action categories; and c) General+Expert Progressive Curriculum, a two-stage training strategy that first learns general visual priors and then injects embodied specialization under a shared language interface. Extensive results show strong competitiveness: ranks 1st overall on EWMBench and DreamGen Bench, outperforms all open-source models on WorldModelBench and PBench. Additional zero-shot analyses on RoboTwin-IF benchmark further support robust generalization and multi-view consistency.