Movens-Zero: Scaling Humanoid Motion Foundation Models with Large-Scale Human Videos
作者: Wendong Bu, Tinghong Ye, Qizhou Wang, Jiacheng Li, Zhiqi Ge, Yuze Lin, Zhongqi Yue, Yi Su, Jingyu Wang, Kai Shen, Jingdong Liu, Chengyuan Deng, Xiaoxuan Chen, Xin Tan, Jiaming Ji, Wenqiao Zhang, Chenghong Jiang, Tuoyu Li, Siliang Tang, Jun Xiao, Tat-Seng Chua, Yueting Zhuang, Xingxing Wang, Juncheng Li
分类: cs.RO, cs.CV
发布日期: 2026-10-30
备注: Technical report. 86 pages, 31 figures, 15 tables. Project page: https://movens-zero.github.io
💡 一句话要点
提出Movens-Zero以解决人形运动模型扩展问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱四：生成式动作 (Generative Motion) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 人形运动模型 多模态学习 实时闭环控制 任务混合训练 数据生成与过滤
📋 核心要点
- 现有方法在扩展人形运动模型时面临数据稀缺和多模态输入联合学习的挑战。
- 提出Movens-Zero架构，通过任务混合流匹配训练实现跨模态联合学习与实时闭环执行。
- 实验结果表明，执行验证数据从1%提升至100%时，各模态均有显著提升，参数容量从6400万提升至9.11亿。
📝 摘要（中文）
扩展人形运动基础模型受到多样化、可执行数据稀缺及多模态输入联合学习难度的限制。我们提出Movens-5M，通过原始互联网视频生成剪辑、质量过滤、语义标注、运动恢复及物理精炼构建而成，包含1500万条人类运动序列和500万条可执行的人形运动序列，涵盖超过1万小时的数据，并与文本、RGB视频、语音和音乐对齐。在此基础上，我们引入Movens-Zero，一个支持跨模态联合学习和实时闭环执行的可扩展理解-生成-执行架构。任务混合流匹配训练联合优化七个生成任务中的单一动作专家，实现从文本、语音、音乐和视频直接生成运动。多模态实时分块连接在持续更新的指令和机器人状态下的重叠块，实现连续闭环执行。我们还引入Movens-Intent，一个包含8192个专家验证的条件-运动对的四轨基准。
🔬 方法详解
问题定义：本论文旨在解决人形运动基础模型扩展中的数据稀缺和多模态输入联合学习的困难。现有方法在处理多样化数据时，难以实现实时闭环控制，限制了模型的应用潜力。
核心思路：论文提出Movens-Zero架构，旨在通过任务混合流匹配训练，优化多个生成任务中的单一动作专家，从而实现跨模态的运动生成与执行。该设计使得模型能够从文本、语音、音乐和视频中直接生成运动，增强了模型的灵活性与适应性。
技术框架：整体架构包括数据生成、质量过滤、语义标注、运动恢复和物理精炼等多个阶段，最终形成一个支持实时闭环执行的多模态理解-生成-执行系统。
关键创新：最重要的技术创新在于引入了任务混合流匹配训练和多模态实时分块机制，使得模型能够在动态环境中持续更新指令和状态，提升了执行的连贯性和准确性。
关键设计：在参数设置上，模型的容量从6400万提升至9.11亿，采用了多模态交叉监督的损失函数设计，确保了生成和执行的质量提升。
🖼️ 关键图片
📊 实验亮点
实验结果显示，当执行验证数据从1%提升至100%时，所有四种模态的性能均有显著提升，尤其在动作专家容量从6400万提升至9.11亿的情况下，生成和执行的质量得到了显著改善，验证了数据质量和跨模态监督的重要性。
🎯 应用场景
该研究的潜在应用领域包括人形机器人、虚拟现实、游戏开发等，能够为这些领域提供更自然的人机交互体验。未来，Movens-Zero有望推动智能机器人在复杂环境中的自主行为能力，提升其在实际应用中的价值。
📄 摘要（原文）
Scaling humanoid motion foundation models is constrained by the scarcity of diverse, robot-executable data and by the difficulty of jointly learning from heterogeneous multimodal inputs while supporting real-time closed-loop control. We present Movens-5M, constructed from raw Internet videos through clip generation, quality filtering, semantic annotation, motion recovery, and physical refinement with humanoid retargeting and execution verification. It contains 15 million human-motion sequences and 5 million physically executable humanoid-motion sequences spanning over 10,000 hours, aligned with text, RGB video, speech, and music. Building on this data, we introduce Movens-Zero, a scalable understanding-generation-execution architecture that supports joint learning across modalities and real-time closed-loop execution. Task-mixed flow-matching training jointly optimizes a single action expert across seven generation tasks, enabling direct motion generation from text, speech, music, and video. Multimodal Real-Time Chunking connects overlapping chunks under continuously updated instructions and robot states for continuous closed-loop execution. We further introduce Movens-Intent, a four-track benchmark with 8,192 expert-verified condition-motion pairs across text, speech, music, and video. Experiments show consistent gains across all four modalities when scaling execution-verified data from 1% to 100% and action-expert capacity from 64M to 911M parameters, while demonstrating that data quality and cross-modal supervision improve generation and execution.