MoMask: Generative Masked Modeling of 3D Human Motions
作者: Chuan Guo, Yuxuan Mu, Muhammad Gohar Javed, Sen Wang, Li Cheng
分类: cs.CV
发布日期: 2023-11-29
备注: Project webpage: https://ericguo5513.github.io/momask/
💡 一句话要点
提出MoMask框架以解决文本驱动的3D人类动作生成问题
🎯 匹配领域: 支柱四：生成式动作 (Generative Motion) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)
关键词: 3D人类动作生成 掩蔽建模 文本驱动生成 分层量化 双向变换器
📋 核心要点
- 现有方法在文本驱动的3D人类动作生成中存在生成质量和细节保真度不足的问题。
- MoMask通过分层量化和双向变换器设计，提出了一种新的掩蔽建模框架，有效提升生成效果。
- 在HumanML3D和KIT-ML数据集上，MoMask的FID分别为0.045和0.228，显著优于现有方法的性能。
📝 摘要（中文）
我们介绍了MoMask，一个新颖的掩蔽建模框架，用于文本驱动的3D人类动作生成。在MoMask中，采用分层量化方案将人类动作表示为多层离散动作标记，具有高保真度的细节。从基础层开始，通过向量量化获得一系列动作标记，随后在层次结构的后续层中衍生并存储逐级的残差标记。接着，使用两个不同的双向变换器进行处理。对于基础层的动作标记，指定了一个掩蔽变换器，在训练阶段根据文本输入预测随机掩蔽的动作标记。在生成阶段，从空序列开始，我们的掩蔽变换器迭代填充缺失的标记；随后，残差变换器根据当前层的结果逐步预测下一层的标记。大量实验表明，MoMask在文本到动作生成任务上超越了现有最先进的方法。
🔬 方法详解
问题定义：本论文旨在解决文本驱动的3D人类动作生成中的生成质量和细节保真度不足的问题。现有方法在处理复杂动作时，往往无法有效捕捉细节，导致生成结果不够真实。
核心思路：MoMask的核心思路是采用分层量化方案，将人类动作表示为多层离散动作标记，并通过掩蔽变换器和残差变换器的结合，逐步生成高保真度的动作序列。这样的设计使得模型能够在生成过程中有效利用上下文信息。
技术框架：MoMask的整体架构包括基础层的动作标记生成、掩蔽变换器的训练和推理阶段、以及残差变换器的逐层生成。基础层通过向量量化获得动作标记，后续层则存储残差标记，最终通过两个变换器进行处理。
关键创新：MoMask的主要创新在于其分层量化和双向变换器的结合使用，尤其是掩蔽变换器的设计，使得模型在训练阶段能够有效地预测缺失的动作标记，这与现有方法的单一生成方式形成了显著区别。
关键设计：在模型设计中，采用了分层的量化策略和双向变换器结构，损失函数则结合了重建损失和上下文损失，以确保生成的动作序列在细节和连贯性上的高保真度。
🖼️ 关键图片
📊 实验亮点
在实验中，MoMask在HumanML3D数据集上的FID为0.045，显著优于T2M-GPT的0.141；在KIT-ML数据集上，MoMask的FID为0.228，相较于0.514的对比基线，展示了显著的性能提升。
🎯 应用场景
该研究的潜在应用领域包括动画制作、游戏开发和虚拟现实等场景，能够为这些领域提供高质量的3D人类动作生成解决方案。未来，MoMask还可以扩展到其他相关任务，如文本引导的时间修复，具有广泛的实际价值。
📄 摘要（原文）
We introduce MoMask, a novel masked modeling framework for text-driven 3D human motion generation. In MoMask, a hierarchical quantization scheme is employed to represent human motion as multi-layer discrete motion tokens with high-fidelity details. Starting at the base layer, with a sequence of motion tokens obtained by vector quantization, the residual tokens of increasing orders are derived and stored at the subsequent layers of the hierarchy. This is consequently followed by two distinct bidirectional transformers. For the base-layer motion tokens, a Masked Transformer is designated to predict randomly masked motion tokens conditioned on text input at training stage. During generation (i.e. inference) stage, starting from an empty sequence, our Masked Transformer iteratively fills up the missing tokens; Subsequently, a Residual Transformer learns to progressively predict the next-layer tokens based on the results from current layer. Extensive experiments demonstrate that MoMask outperforms the state-of-art methods on the text-to-motion generation task, with an FID of 0.045 (vs e.g. 0.141 of T2M-GPT) on the HumanML3D dataset, and 0.228 (vs 0.514) on KIT-ML, respectively. MoMask can also be seamlessly applied in related tasks without further model fine-tuning, such as text-guided temporal inpainting.