MUGEN: A Unified Framework for Efficient Motion Understanding and Generation

📄 arXiv: 2607.27581v1 📥 PDF

作者: Zhankai Ye, Yukai Jin, Bingyang Wei, Bofan Li, Yusen Wu, Fangyi Li, Shangqian Gao, Xin Liu

分类: cs.LG

发布日期: 2026-07-30

💡 一句话要点

提出MUGEN框架以高效理解与生成运动

🎯 匹配领域: 支柱四：生成式动作 (Generative Motion) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)

关键词: 运动理解 生成模型 多模态学习 自编码器 深度学习

📋 核心要点

  1. 现有的运动-语言系统在生成质量上受到量化限制，且解码过程复杂，影响理解效率。
  2. MUGEN框架通过单一自适应长度自编码器压缩运动数据，避免了传统代码本的使用，简化了生成与理解过程。
  3. 实验结果表明，MUGEN在FID、CIDEr和BLEU@4等指标上均优于现有基线，提升了运动检索和对齐的性能。

📝 摘要（中文）

将人类运动与语言相结合是实现能够理解、生成和交流人类行为的物理AI系统的关键步骤。现有的统一运动-语言系统通过共享的离散运动代码本耦合了这两个方向，但量化限制了生成质量。为此，本文提出MUGEN，一个统一的运动-语言框架，采用单一自适应长度的自编码器将任意长度的运动压缩为少量连续潜在槽，避免了代码本的使用。该系统的语言模型生成这些潜在槽用于文本到运动的转换，并进行运动理解。实验结果显示，MUGEN在多个指标上超越了现有基线，提升了检索精度和生成质量。

🔬 方法详解

问题定义：本文旨在解决现有运动-语言系统在生成质量和理解效率上的不足，特别是量化和复杂解码带来的限制。

核心思路：MUGEN框架通过一个自适应长度的自编码器，将任意长度的运动压缩为少量连续潜在槽，简化了运动的表示和生成过程。

技术框架：MUGEN的整体架构包括一个自编码器用于运动压缩，一个语言模型用于生成和理解运动，以及深度路由的隐藏状态以优化信息读取。

关键创新：MUGEN的主要创新在于不使用传统的离散代码本，而是通过连续潜在槽实现运动的高效表示，显著提高了生成质量和理解能力。

关键设计：系统设计中采用了深度路由的隐藏状态，使每个槽能够从所需的变换深度读取信息，同时使用校准头预测全潜在集的联合分布，确保生成的运动与文本描述的条件一致性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，MUGEN在HumanML3D数据集上相较于语言模型基线在FID指标上表现更优，同时在检索精度上超过真实运动参考，CIDEr和BLEU@4得分均达到最佳，且在SnapMoGen上超越了离散标记的最先进技术，展现出显著的性能提升。

🎯 应用场景

MUGEN框架在机器人、虚拟现实和人机交互等领域具有广泛的应用潜力。通过高效理解和生成运动，能够提升智能系统与人类的交互质量，推动物理AI的发展。未来，该框架可能在自动化控制和智能助手等场景中发挥重要作用。

📄 摘要（原文）

Grounding human motion in language, and language in motion, is a central step toward physical AI systems that can understand, generate, and communicate human behavior. Unified motion--language systems first coupled the two directions through a shared discrete motion codebook, but quantization limits generation quality. The strongest generators buy quality back at growing cost: stacked residual codebooks enlarge the representation; masked decoding stages, long autoregressive rollouts, and denoising chains of tens to hundreds of steps stretch inference; even the continuous-latent designs among them reach their latent only through an iterative diffusion head; and none of this decoding machinery serves understanding. We therefore propose MUGEN, a unified motion--language framework that pays neither cost: no codebook, one draw. A single adaptive-length autoencoder compresses any-length motion into a few continuous latent slots, the system's only motion representation: the language model generates them for text-to-motion and reads them back for motion understanding. Depth-routed hidden states let each slot read from the transformer depth it needs, and a calibrated head predicts a joint distribution over the full latent set, so a single draw carries the text-conditional, cross-slot variation a description permits. At a decoding cost of K language-model steps, one draw, and one decoder pass, MUGEN leads language-model baselines on FID on HumanML3D while raising retrieval precision above the real-motion reference under the standard evaluator, achieves the best CIDEr and BLEU@4 scores, and surpasses the discrete-token state of the art on every retrieval and alignment metric on SnapMoGen.