Language-Guided Transformer Tokenizer for Human Motion Generation
作者: Sheng Yan, Yong Wang, Xin Du, Junsong Yuan, Mengyuan Liu
分类: cs.CV
发布日期: 2026-07-05
💡 一句话要点
提出语言引导的Transformer分词器以解决人类动作生成问题
🎯 匹配领域: 支柱四：生成式动作 (Generative Motion) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)
关键词: 动作生成 离散分词 语言引导 Transformer 语义表示 生成模型 虚拟现实 人机交互
📋 核心要点
- 现有的动作生成方法在标记数量与生成复杂度之间存在矛盾，增加标记数量虽可提升重建质量，但却使模型学习变得困难。
- 本文提出语言引导的分词方法（LG-Tok），通过将自然语言与动作对齐，生成高层次的语义表示，从而提高分词效率。
- 在HumanML3D和Motion-X基准测试中，LG-Tok的Top-1分数分别为0.542和0.582，显著优于现有方法，且在标记数量减少的情况下仍保持竞争力。
📝 摘要（中文）
本文聚焦于动作离散分词，即将原始动作转换为紧凑的离散标记，这一过程对于高效的动作生成至关重要。尽管增加标记数量通常可以提高动作重建质量，但过多的标记会使生成模型的学习变得更加困难。为了解决这一矛盾，本文提出了一种语言引导的分词方法（LG-Tok），通过在分词阶段将自然语言与动作对齐，生成紧凑的高层语义表示。这种方法不仅增强了分词和去分词的效果，还简化了生成模型的学习过程。实验结果表明，LG-Tok在多个基准测试中超越了现有最先进的方法。
🔬 方法详解
问题定义：本文旨在解决动作生成中的离散分词问题，现有方法多采用卷积架构，难以有效支持全局语言引导，导致生成质量受限。
核心思路：提出语言引导的分词方法（LG-Tok），通过在分词阶段将自然语言与动作对齐，生成紧凑的高层语义表示，从而提高生成模型的学习效率。
技术框架：整体架构包括语言引导分词器和去分词器，前者利用Transformer架构进行标记生成，后者则负责将标记转换回动作。
关键创新：最重要的创新在于采用Transformer架构替代传统卷积架构，利用注意力机制实现语言与动作的有效对齐，提升了分词和去分词的效果。
关键设计：设计了语言-drop方案，在训练过程中随机移除语言条件，使去分词器能够在生成时支持无语言引导，从而增强模型的灵活性和适应性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，LG-Tok在HumanML3D和Motion-X基准测试中的Top-1分数分别为0.542和0.582，超越了现有最先进的方法（MARDM: 0.500和0.528），同时FID分数也显著降低，验证了其高效性和优越性。
🎯 应用场景
该研究在虚拟现实、动画制作和人机交互等领域具有广泛的应用潜力。通过提高动作生成的效率和质量，能够为游戏开发、电影制作等行业提供更为自然和流畅的动作表现，推动相关技术的发展与创新。
📄 摘要（原文）
In this paper, we focus on motion discrete tokenization, which converts raw motion into compact discrete tokens--a process proven crucial for efficient motion generation. In this paradigm, increasing the number of tokens is a common approach to improving motion reconstruction quality, but more tokens make it more difficult for generative models to learn. To maintain high reconstruction quality while reducing generation complexity, we propose leveraging language to achieve efficient motion tokenization, which we term Language-Guided Tokenization (LG-Tok). LG-Tok aligns natural language with motion at the tokenization stage, yielding compact, high-level semantic representations. This approach not only strengthens both tokenization and detokenization but also simplifies the learning of generative models. Furthermore, existing tokenizers predominantly adopt convolutional architectures, whose local receptive fields struggle to support global language guidance. To this end, we propose a Transformer-based Tokenizer that leverages attention mechanisms to enable effective alignment between language and motion. Additionally, we design a language-drop scheme, in which language conditions are randomly removed during training, enabling the detokenizer to support language-free guidance during generation. On the HumanML3D and Motion-X generation benchmarks, LG-Tok achieves Top-1 scores of 0.542 and 0.582, outperforming state-of-the-art methods (MARDM: 0.500 and 0.528), and with FID scores of 0.057 and 0.088, respectively, versus 0.114 and 0.147. LG-Tok-mini uses only half the tokens while maintaining competitive performance (Top-1: 0.521/0.588, FID: 0.085/0.071), validating the efficiency of our semantic representations. Code and checkpoints are available atthis https URL