Motion Generation from Fine-grained Textual Descriptions

📄 arXiv: 2403.13518v2 📥 PDF

作者: Kunhang Li, Yansong Feng

分类: cs.AI, cs.CL, cs.CV, cs.RO

发布日期: 2024-03-20 (更新: 2024-03-26)

🔗 代码/项目: GITHUB

💡 一句话要点

提出FineMotionDiffuse以解决细粒度文本描述生成运动的问题

🎯 匹配领域: 支柱四：生成式动作 (Generative Motion) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)

关键词: 文本到运动生成 细粒度描述 运动序列生成 FineHumanML3D FineMotionDiffuse 深度学习 计算机视觉

📋 核心要点

  1. 现有的文本到运动生成方法多集中于粗粒度描述，限制了模型对细粒度运动的学习能力。
  2. 本文提出FineMotionDiffuse模型，利用FineHumanML3D数据集，专注于细粒度文本信息的映射。
  3. 实验结果显示，FineMotionDiffuse在FID指标上提升0.38，且在生成复杂运动方面优于MotionDiffuse。

📝 摘要（中文）

本文研究了从细粒度文本描述生成人体运动序列的任务，提出了一种新模型FineMotionDiffuse。现有方法多集中于粗粒度运动描述，导致模型无法有效学习细粒度运动相关词汇与运动原语之间的映射。为此，作者构建了一个大规模语言-运动数据集FineHumanML3D，并通过GPT-3.5-turbo生成细粒度描述。实验结果表明，FineMotionDiffuse在FID指标上较竞争基线提升了0.38，且在生成空间或时间复合运动方面表现优于现有模型。数据集已公开发布。

🔬 方法详解

问题定义：本文旨在解决从细粒度文本描述生成人体运动序列的问题。现有模型多依赖粗粒度描述，导致无法有效学习细粒度运动相关词汇与运动原语之间的映射，进而影响生成效果。

核心思路：论文提出FineMotionDiffuse模型，专注于细粒度文本信息的利用，通过构建FineHumanML3D数据集，增强模型对细粒度描述的理解和生成能力。

技术框架：整体架构包括数据集构建、模型设计和训练三个主要阶段。数据集通过GPT-3.5-turbo生成细粒度描述，模型设计则充分考虑了细粒度信息的提取与映射。

关键创新：最重要的技术创新在于FineHumanML3D数据集的构建和FineMotionDiffuse模型的设计，使得模型能够有效学习细粒度描述与运动之间的隐含映射，显著提升生成质量。

关键设计：模型采用特定的损失函数以优化细粒度描述的映射效果，并在网络结构上引入了适应细粒度信息处理的模块，确保生成运动的准确性与多样性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，FineMotionDiffuse模型在FID指标上提升了0.38，相较于竞争基线有显著改进。同时，在生成空间或时间复合运动方面，FineMotionDiffuse表现优于现有的MotionDiffuse模型，验证了其在细粒度描述生成运动中的有效性。

🎯 应用场景

该研究在动画制作、游戏开发和虚拟现实等领域具有广泛的应用潜力。通过生成更自然和复杂的人体运动，能够提升用户体验和交互效果。此外，未来可扩展至机器人运动控制和人机交互等领域，推动相关技术的发展。

📄 摘要（原文）

The task of text2motion is to generate human motion sequences from given textual descriptions, where the model explores diverse mappings from natural language instructions to human body movements. While most existing works are confined to coarse-grained motion descriptions, e.g., "A man squats.", fine-grained descriptions specifying movements of relevant body parts are barely explored. Models trained with coarse-grained texts may not be able to learn mappings from fine-grained motion-related words to motion primitives, resulting in the failure to generate motions from unseen descriptions. In this paper, we build a large-scale language-motion dataset specializing in fine-grained textual descriptions, FineHumanML3D, by feeding GPT-3.5-turbo with step-by-step instructions with pseudo-code compulsory checks. Accordingly, we design a new text2motion model, FineMotionDiffuse, making full use of fine-grained textual information. Our quantitative evaluation shows that FineMotionDiffuse trained on FineHumanML3D improves FID by a large margin of 0.38, compared with competitive baselines. According to the qualitative evaluation and case study, our model outperforms MotionDiffuse in generating spatially or chronologically composite motions, by learning the implicit mappings from fine-grained descriptions to the corresponding basic motions. We release our data at https://github.com/KunhangL/finemotiondiffuse.