Möbius: A Unified Motion-Language Model Bridging Understanding and Generation

📄 arXiv: 2611.05279v1 📥 PDF

作者: Jiazhi Shu, Chengfeng Zhao, Jinyi Wang, Yubo Zhao, Zhiyang Dou, Ronghui Li, Yu Lu, Xinwei Jiang, Zijiao Zeng, Yuan Liu

分类: cs.CV

发布日期: 2026-11-03

备注: Project page: https://jiazhishu.github.io/mobius/

💡 一句话要点

提出Möbius以解决统一人类动作理解与生成的问题

🎯 匹配领域: 支柱四：生成式动作 (Generative Motion) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 统一运动模型 多模态表示 动作理解 动作生成 扩散过程 共享注意力 虚拟现实 人机交互

📋 核心要点

  1. 现有的统一运动模型在理解和生成方面仍然存在分离，导致效率低下和功能限制。
  2. Möbius通过将扩散过程整合到同一多模态表示空间中，解决了理解与生成的分离问题。
  3. 在HumanML3D数据集上，Möbius实现了最先进的性能，展示了其在统一运动模型中的优势。

📝 摘要（中文）

本研究旨在构建一个真正统一的动作模型，能够在单一框架内理解、生成和编辑人类动作。现有的统一运动模型（UMMs）通常将动作理解与生成分开处理，理解由语言模型完成，而生成则依赖于独立的扩散模块。Möbius将整个扩散过程纳入同一多模态表示空间，清晰动作、噪声动作和文本共同参与共享注意力，同时角色特定参数处理理解和生成流。Möbius直接在连续帧级原始动作上操作，无需离散标记或预训练的运动变分自编码器，支持动作字幕、文本到动作生成、时间补全和指令引导编辑等功能。在HumanML3D数据集上，Möbius在统一运动模型中实现了最先进的性能，参数规模达到17亿，使用1700小时的运动数据，展示了其有效性和可扩展性。

🔬 方法详解

问题定义：本论文旨在解决现有统一运动模型在理解和生成方面的分离问题，导致效率低下和功能限制。现有方法通常将动作理解与生成分开处理，缺乏统一性。

核心思路：Möbius的核心思路是将整个扩散过程纳入同一多模态表示空间，允许清晰动作、噪声动作和文本共同参与共享注意力，从而实现理解与生成的无缝连接。

技术框架：Möbius的整体架构包括多个模块，首先是输入的连续帧级原始动作，然后通过共享注意力机制处理清晰和噪声动作，最后生成文本到动作的输出。角色特定参数用于处理理解和生成流。

关键创新：Möbius的主要创新在于其直接在连续帧级原始动作上操作，无需离散标记或预训练的运动变分自编码器，这与现有方法的依赖于离散化和预训练模型的方式有本质区别。

关键设计：Möbius的设计包括共享注意力机制、角色特定参数的设置，以及在训练过程中使用的损失函数，确保理解和生成的高效协同。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在HumanML3D数据集上，Möbius实现了最先进的性能，参数规模达到17亿，使用1700小时的运动数据，显著提升了统一运动模型的效率和效果，展示了其在动作生成和理解方面的强大能力。

🎯 应用场景

Möbius的研究成果在多个领域具有潜在应用价值，包括虚拟现实、动画制作、游戏开发和人机交互等。通过提供统一的动作理解与生成框架，Möbius能够提升这些领域中的动作表现力和交互性，推动智能系统的进一步发展。

📄 摘要（原文）

We aim to build a truly unified motion model that can understand, generate, and edit human motion within a single framework. Existing motion UMMs remain only partially unified: motion understanding is handled by a language model, while generation is often delegated to a separate diffusion module operating over learned motion latents. We introduce Möbius, which brings the entire diffusion process into the same multimodal representation space used for motion understanding. Clean motion, noisy motion, and text jointly participate in shared attention, while role-specific parameters process understanding and generation streams. Importantly, Möbius operates directly on continuous frame-level raw motion, requiring neither discrete tokenization nor a pretrained motion VAE. This simple formulation naturally supports motion captioning, text-to-motion generation, temporal completion, and instruction-guided editing within a single model. On HumanML3D, Möbius achieves state-of-the-art performance among unified motion models. Scaling to 1.7B parameters and 1,700 hours of motion data further demonstrates that our framework is both effective and scalable.