CoMo: Controllable Motion Generation through Language Guided Pose Code Editing

📄 arXiv: 2403.13900v2 📥 PDF

作者: Yiming Huang, Weilin Wan, Yue Yang, Chris Callison-Burch, Mark Yatskar, Lingjie Liu

分类: cs.CV

发布日期: 2024-03-20 (更新: 2024-09-19)

💡 一句话要点

提出CoMo以解决运动生成过程中的可控性问题

🎯 匹配领域: 支柱四：生成式动作 (Generative Motion) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 运动生成 姿势编码 可控性 大型语言模型 3D运动 动画制作 虚拟现实

📋 核心要点

  1. 现有文本到运动生成方法在细粒度控制上存在不足，难以实现对运动细节的精确修改。
  2. CoMo通过将运动分解为语义明确的姿势代码，结合大型语言模型，实现了运动生成与编辑的可控性。
  3. 实验结果显示，CoMo在运动生成性能上与最先进模型相当，在运动编辑能力上显著提升，表现优异。

📝 摘要（中文）

文本到运动模型在高效生成人体运动方面表现优异，但现有方法在生成过程中的细粒度可控性不足。因此，修改运动中的微妙姿势或在特定时刻插入新动作仍然是一个挑战，限制了这些方法在多种场景中的适用性。为此，我们提出了CoMo，一个可控运动生成模型，能够通过利用大型语言模型的知识先验，准确生成和编辑运动。CoMo将运动分解为离散且语义明确的姿势代码，每个代码封装了身体部位的语义信息。给定文本输入，CoMo自回归地生成姿势代码序列，然后解码为3D运动。通过将姿势代码作为可解释的表示，LLM可以根据编辑指令直接干预运动编辑。实验表明，CoMo在运动生成方面的表现与最先进的模型相当，而在运动编辑能力上显著超越了之前的工作。

🔬 方法详解

问题定义：现有的文本到运动生成方法在生成过程中缺乏细粒度的可控性，导致难以对运动中的微小姿势进行修改或在特定时刻插入新动作，这限制了其在实际应用中的灵活性。

核心思路：CoMo模型通过将运动分解为离散的、语义明确的姿势代码，使得每个代码能够表示特定的身体部位状态，从而实现对运动生成和编辑的精确控制。利用大型语言模型的知识，CoMo能够根据文本输入自回归生成姿势代码，并进行相应的编辑。

技术框架：CoMo的整体架构包括三个主要模块：首先是姿势代码的生成模块，接着是运动解码模块，最后是编辑干预模块。生成模块根据输入文本生成姿势代码，解码模块将这些代码转换为3D运动，编辑模块则允许对姿势代码进行直接修改。

关键创新：CoMo的主要创新在于将运动表示为语义明确的姿势代码，使得运动生成和编辑过程中的可控性大幅提升。这一设计与传统方法的连续运动表示形成鲜明对比，后者往往难以实现精细控制。

关键设计：在模型设计中，CoMo采用了自回归生成策略，并结合了特定的损失函数以优化姿势代码的生成质量。此外，模型的网络结构经过精心设计，以确保生成的姿势代码能够有效地映射到真实的3D运动中。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，CoMo在运动生成方面的表现与当前最先进的模型相当，且在运动编辑能力上显著提升，用户研究表明其在编辑任务中超越了之前的工作，具体提升幅度未知。

🎯 应用场景

CoMo模型在动画制作、虚拟现实和游戏开发等领域具有广泛的应用潜力。通过提供对运动生成和编辑的高可控性，CoMo能够帮助创作者更高效地实现复杂的动作设计。此外，该技术还可以用于运动分析和人机交互等研究领域，推动相关技术的发展。

📄 摘要（原文）

Text-to-motion models excel at efficient human motion generation, but existing approaches lack fine-grained controllability over the generation process. Consequently, modifying subtle postures within a motion or inserting new actions at specific moments remains a challenge, limiting the applicability of these methods in diverse scenarios. In light of these challenges, we introduce CoMo, a Controllable Motion generation model, adept at accurately generating and editing motions by leveraging the knowledge priors of large language models (LLMs). Specifically, CoMo decomposes motions into discrete and semantically meaningful pose codes, with each code encapsulating the semantics of a body part, representing elementary information such as "left knee slightly bent". Given textual inputs, CoMo autoregressively generates sequences of pose codes, which are then decoded into 3D motions. Leveraging pose codes as interpretable representations, an LLM can directly intervene in motion editing by adjusting the pose codes according to editing instructions. Experiments demonstrate that CoMo achieves competitive performance in motion generation compared to state-of-the-art models while, in human studies, CoMo substantially surpasses previous work in motion editing abilities.