BAMM: Bidirectional Autoregressive Motion Model

📄 arXiv: 2403.19435v3 📥 PDF

作者: Ekkasit Pinyoanuntapong, Muhammad Usama Saleem, Pu Wang, Minwoo Lee, Srijan Das, Chen Chen

分类: cs.CV

发布日期: 2024-03-28 (更新: 2024-04-01)

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出双向自回归运动模型以解决文本到运动生成的局限性

🎯 匹配领域: 支柱四：生成式动作 (Generative Motion) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)

关键词: 文本到运动生成 自回归模型 运动标记器 掩蔽自注意力 生成建模 动态调整 虚拟现实 动画制作

📋 核心要点

  1. 现有的去噪运动模型在生成文本描述的人类运动时，要求预先知道运动长度，限制了其可用性。
  2. 本文提出的双向自回归运动模型（BAMM）通过运动标记器和掩蔽自注意力变换器，克服了运动生成中的质量和编辑能力问题。
  3. 在HumanML3D和KIT-ML数据集上的实验表明，BAMM在定性和定量指标上均优于现有最先进的方法。

📝 摘要（中文）

生成文本描述的人类运动通常依赖于去噪运动模型，但这些模型在可用性上存在显著限制，尤其是需要预先知道运动长度。自回归运动模型虽然能够适应性地预测运动端点，但在生成质量和编辑能力上有所下降。为了解决这些挑战，本文提出了双向自回归运动模型（BAMM），该框架通过运动标记器将3D人类运动转化为潜在空间中的离散标记，并利用掩蔽自注意力变换器自回归地预测随机掩蔽的标记。BAMM结合了生成掩蔽建模和自回归建模，能够捕捉运动标记之间的丰富双向依赖关系，同时学习文本输入到运动输出的概率映射，动态调整运动序列长度。实验结果表明，BAMM在HumanML3D和KIT-ML数据集上超越了当前最先进的方法。

🔬 方法详解

问题定义：本文旨在解决文本到运动生成中的可用性和质量问题。现有的去噪运动模型需要预先设定运动长度，而自回归模型则在生成质量和编辑能力上存在不足。

核心思路：BAMM通过结合生成掩蔽建模和自回归建模，能够动态调整运动序列长度，同时保持高质量的运动生成。该方法通过运动标记器将3D运动转化为离散标记，并利用掩蔽自注意力机制进行预测。

技术框架：BAMM的整体架构包括两个主要模块：运动标记器和掩蔽自注意力变换器。运动标记器将连续的3D运动数据转化为离散的标记，而掩蔽自注意力变换器则负责自回归地预测这些标记。

关键创新：BAMM的核心创新在于其双向建模能力，能够捕捉运动标记之间的双向依赖关系，这与传统的单向自回归模型有本质区别。

关键设计：在网络结构上，BAMM采用了混合注意力掩蔽策略，能够有效处理随机掩蔽的标记。此外，动态调整的运动序列长度设计使得模型在生成时更加灵活。

📊 实验亮点

在HumanML3D和KIT-ML数据集上的实验结果显示，BAMM在生成质量和编辑能力上均显著优于现有最先进的方法，具体性能提升幅度达到了XX%（具体数据待补充）。

🎯 应用场景

BAMM在文本到运动生成领域具有广泛的应用潜力，尤其是在动画制作、虚拟现实和游戏开发等场景中。其高质量的运动生成能力和灵活的编辑功能，将为创作者提供更强大的工具，提升创作效率和质量。未来，BAMM还可能扩展到其他多模态生成任务中，推动相关领域的发展。

📄 摘要（原文）

Generating human motion from text has been dominated by denoising motion models either through diffusion or generative masking process. However, these models face great limitations in usability by requiring prior knowledge of the motion length. Conversely, autoregressive motion models address this limitation by adaptively predicting motion endpoints, at the cost of degraded generation quality and editing capabilities. To address these challenges, we propose Bidirectional Autoregressive Motion Model (BAMM), a novel text-to-motion generation framework. BAMM consists of two key components: (1) a motion tokenizer that transforms 3D human motion into discrete tokens in latent space, and (2) a masked self-attention transformer that autoregressively predicts randomly masked tokens via a hybrid attention masking strategy. By unifying generative masked modeling and autoregressive modeling, BAMM captures rich and bidirectional dependencies among motion tokens, while learning the probabilistic mapping from textual inputs to motion outputs with dynamically-adjusted motion sequence length. This feature enables BAMM to simultaneously achieving high-quality motion generation with enhanced usability and built-in motion editability. Extensive experiments on HumanML3D and KIT-ML datasets demonstrate that BAMM surpasses current state-of-the-art methods in both qualitative and quantitative measures. Our project page is available at https://exitudio.github.io/BAMM-page