Qwen-RobotManip Technical Report: Alignment Unlocks Scale for Robotic Manipulation Foundation Models
作者: Haoqi Yuan, Zhixuan Liang, Anzhe Chen, Ye Wang, Haoyang Li, Pei Lin, Yiyang Huang, Zixing Lei, Tong Zhang, Jiazhao Zhang, Jie Zhang, Jingyang Fan, Gengze Zhou, Qihang Peng, Chenxu Lv, Xiaoyue Chen, An Yang, Fei Huang, Junyang Lin, Dayiheng Liu, Jingren Zhou, Chenfei Wu, Xiong-Hui Chen
分类: cs.RO, cs.CV, cs.LG
发布日期: 2026-06-16
备注: 44 pages
💡 一句话要点
提出Qwen-RobotManip以解决机器人操作中的数据异质性问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱六：视频提取与匹配 (Video Extraction) 支柱七：动作重定向 (Motion Retargeting) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 机器人操作 基础模型 多模态对齐 数据异质性 泛化能力 开放数据集 人类演示
📋 核心要点
- 现有的机器人操作模型在处理异质数据时面临挑战，难以实现大规模训练和泛化能力。
- Qwen-RobotManip通过统一的对齐框架，整合了表示、运动和行为维度的数据，提升了训练的连贯性。
- 该模型在多个开放数据集上表现优异，超越了现有最先进模型，并在真实机器人平台上得到了验证。
📝 摘要（中文）
基础模型在语言和多模态领域通过统一的训练方法实现了强大的泛化能力。本报告探讨了这一方法是否可以应用于机器人操作，以实现真正的泛化。由于操作数据的异质性、收集成本高和多样性不足，使得同时进行对齐和扩展变得困难。我们提出了Qwen-RobotManip，一个基于Qwen-VL的可泛化的视觉-语言-动作基础模型，建立了一个统一的对齐框架，使得大规模多源训练变得一致而非冲突。该模型在开放数据集和人类视频的基础上构建了约38,100小时的预训练语料库，展现出零-shot指令跟随、对扰动的鲁棒性、反应式错误恢复和跨实体转移等新兴泛化能力。
🔬 方法详解
问题定义：本研究旨在解决机器人操作中数据异质性和训练规模不足的问题。现有方法在处理多样化的操作数据时，往往无法实现有效的对齐与泛化。
核心思路：Qwen-RobotManip的核心思路是通过建立统一的对齐框架，整合不同来源的操作数据，从而实现大规模训练和泛化能力的提升。这样的设计使得模型能够更好地理解和执行复杂的操作任务。
技术框架：该模型的整体架构包括数据收集、对齐处理、模型训练和评估四个主要模块。数据收集阶段通过人类演示生成机器人轨迹，对齐处理则通过统一框架整合异质数据。
关键创新：Qwen-RobotManip的关键创新在于其统一的对齐框架，能够有效处理异质数据并实现大规模训练。这一方法与传统的分散训练方式有本质区别，提升了模型的泛化能力。
关键设计：在技术细节上，模型采用了特定的损失函数来优化对齐效果，并设计了适应性强的网络结构以处理不同类型的数据输入。
📊 实验亮点
在多个开放数据集上，Qwen-RobotManip显著超越了现有最先进模型，包括$π$0.5，尤其在RoboChallenge中实现了20%的相对提升。此外，该模型在真实机器人平台上的验证结果也表明其优越的性能和可靠性。
🎯 应用场景
Qwen-RobotManip在机器人操作领域具有广泛的应用潜力，能够用于工业自动化、服务机器人、医疗辅助等多个场景。其强大的泛化能力和对复杂任务的适应性，将推动机器人技术的进一步发展和应用。
📄 摘要（原文）
Foundation models in language and multimodality achieve strong generalization by aligning heterogeneous data under a unified formulation and training at scale. In this report, we investigate whether this scaling recipe can be applied to robotic manipulation to achieve genuine generalization. This is challenging because, unlike text, manipulation data is heterogeneous by nature, expensive to collect, and narrow in diversity, making alignment and scale simultaneously difficult. We present Qwen-RobotManip, a generalizable Vision-Language-Action foundation model built on Qwen-VL. Qwen-RobotManip introduces a unified alignment framework across the representation, motion, and behavioral dimensions of manipulation, making large-scale multi-source training coherent rather than conflicting. This alignment capability in turn enables Qwen-RobotManip to absorb manipulation data at a scale that prior training regimes could not sustain. A human-to-robot synthesis pipeline converts egocentric hand demonstrations into robot trajectories across 15 platforms, and a rigorous curation pipeline harmonizes heterogeneous datasets. Using only open-source datasets and human videos without proprietary data collection, Qwen-RobotManip constructs a ~38,100-hour pretraining corpus and exhibits emergent generalization capabilities, including zero-shot instruction following, robustness to perturbations, reactive error recovery, and cross-embodiment transfer. We find that standard benchmarks fail to capture pretraining quality and instead adopt OOD settings including RoboCasa365, LIBERO-Plus, EBench, RoboTwin-Clean2Rand, RoboTwin-IF, and RoboTwin-XE. Qwen-RobotManip substantially outperforms prior state-of-the-art models, including $π$0.5, across all OOD settings, ranks 1st in RoboChallenge with a 20% relative improvement, and is validated on real-robot platforms including AgileX ALOHA, Franka, UR, and ARX.