MoGeFlow: Flowing Through Motion Codebook Geometry for Text-to-Motion Generation

📄 arXiv: 2606.11656v1 📥 PDF

作者: Pengcheng Fang, Tengjiao Sun, Xiaoyu Zhan, Xiaohao Cai, Dongjie Fu

分类: cs.GR

发布日期: 2026-06-10

💡 一句话要点

提出MoGeFlow以解决文本到运动生成中的运动代码几何问题

🎯 匹配领域: 支柱四：生成式动作 (Generative Motion) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 文本到运动生成 运动代码几何 向量量化 PartVQ 多模态生成 运动生成模型 深度学习

📋 核心要点

  1. 现有的文本到运动生成方法大多将运动代码视为无序的类别标签，忽视了运动代码的几何特性。
  2. MoGeFlow通过运动代码本几何生成运动，利用结构化的PartVQ组特定代码嵌入，学习文本条件的连续流。
  3. 实验结果表明，MoGeFlow在HumanML3D和KIT-ML上设定了新的最优状态，展示了其在多模态距离和FID等指标上的优势。

📝 摘要（中文）

向量量化运动标记器为文本到运动生成提供了紧凑的离散接口，但大多数运动代码先验将代码索引视为无序的类别标签。这种观点忽视了运动代码的一个关键特性：它们是物理运动的解码器绑定原型，学习的代码本可以承载有意义的局部运动几何。我们通过代码本诊断验证了这一特性，发现学习的PartVQ组特定代码之间的距离与局部运动原型距离对齐，打乱控制则消除了这种对齐。基于这一观察，我们提出了MoGeFlow，一个通过运动代码本几何生成的文本到运动模型，能够在保持离散标记紧凑性和有效性的同时，替代类别代码预测为几何感知的代码本空间生成。

🔬 方法详解

问题定义：论文要解决的问题是现有文本到运动生成方法对运动代码的几何特性认识不足，导致生成效果不佳。现有方法将运动代码视为无序的类别标签，无法有效利用运动代码的局部几何信息。

核心思路：论文的核心思路是通过运动代码本几何生成运动，具体来说，MoGeFlow将每个运动代码帧表示为结构化的PartVQ组特定代码嵌入，并在这些帧状态上学习文本条件的连续流。

技术框架：MoGeFlow的整体架构包括三个主要模块：运动代码的结构化表示、文本条件的连续流学习和有效的运动代码解码。首先，运动代码被组织为特定的嵌入，然后通过学习的流进行状态转换，最后将终态投影回有效的运动代码。

关键创新：最重要的技术创新点在于将运动代码的几何特性引入到生成过程中，替代了传统的类别代码预测，使得生成的运动更加自然和连贯。与现有方法相比，MoGeFlow能够更好地捕捉运动的局部几何关系。

关键设计：在关键设计方面，论文详细描述了PartVQ的结构、损失函数的选择以及网络的训练策略，确保生成的运动代码在保持离散性和有效性的同时，能够反映运动的真实几何特性。通过这些设计，MoGeFlow在生成质量上取得了显著提升。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，MoGeFlow在HumanML3D和KIT-ML数据集上设定了新的最优状态，R-Precision指标超越了现有方法，且在HumanML3D的多模态距离和KIT-ML的FID上也取得了最佳表现。此外，在MotionMillion基准测试中，MoGeFlow在R@1、R@2、R@3和FID指标上均表现优异，展示了其强大的生成能力。

🎯 应用场景

该研究的潜在应用领域包括动画制作、游戏开发和虚拟现实等场景，能够为这些领域提供更自然、流畅的运动生成方案。未来，MoGeFlow可能在实时运动生成和交互式应用中发挥重要作用，提升用户体验和内容创作效率。

📄 摘要（原文）

Vector-quantized motion tokenizers provide a compact discrete interface for text-to-motion generation, but most motion-code priors treat code indices as unordered categorical labels. This view overlooks a key property of motion codes: they are decoder-bound prototypes of physical movement, and their learned codebooks can carry meaningful local kinematic geometry. We verify this property through codebook diagnostics. Distances between learned PartVQ group-specific codes align with local motion-prototype distances, shuffled controls remove this alignment, and replacing codes with progressively farther neighbors induces monotonically larger decoded motion changes. These results show that motion codebooks exhibit measurable, non-random, and decoder-causal geometry. Based on this observation, we propose \textbf{MoGeFlow}, a text-to-motion model that generates through motion codebook geometry. MoGeFlow represents each motion-code frame as a structured set of PartVQ group-specific code embeddings, learns a text-conditioned continuous flow over these frame states, and projects terminal states back to valid motion codes for frozen decoding. This preserves the compactness and validity of discrete tokenization while replacing categorical code prediction with geometry-aware codebook-space generation. Experiments set new state of the art in R-Precision on HumanML3D and KIT-ML, achieve the best HumanML3D MultiModal Distance and KIT-ML FID among generated methods, and obtain the best MotionMillion R@1, R@2, R@3, and FID under the benchmark protocol.