Contact-aware Human Motion Generation from Textual Descriptions

📄 arXiv: 2403.15709v2 📥 PDF

作者: Sihan Ma, Qiong Cao, Jing Zhang, Dacheng Tao

分类: cs.CV, cs.AI

发布日期: 2024-03-23 (更新: 2024-09-14)

备注: Project page: https://xymsh.github.io/RICH-CAT/

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出CATMO以解决文本驱动的人体运动生成问题

🎯 匹配领域: 支柱四：生成式动作 (Generative Motion) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)

关键词: 3D运动生成 文本描述 人体接触 数据集构建 深度学习

📋 核心要点

  1. 现有方法在生成3D人体运动时未充分考虑物理接触，导致生成序列不自然且不可信。
  2. 提出RICH-CAT数据集和CATMO方法，利用VQ-VAE和GPT模型显式整合人体接触信息以提升生成质量。
  3. 实验结果显示，CATMO在生成稳定的接触感知运动序列方面优于现有文本到运动生成方法。

📝 摘要（中文）

本文解决了从文本描述生成3D互动人体运动的问题。针对现有方法在运动和文本描述中对物理接触互动考虑不足，导致生成的运动序列不自然且不可信的挑战，作者创建了名为RICH-CAT的新数据集，包含高质量的运动、准确的人体-物体接触标签和详细的文本描述。基于RICH-CAT，提出了CATMO方法，显式整合人体接触作为证据，利用VQ-VAE模型和互联的GPT生成稳定的、接触感知的运动序列。实验结果表明，该方法在性能上优于现有的文本到运动生成方法。

🔬 方法详解

问题定义：本文旨在解决从文本描述生成3D互动人体运动的挑战，现有方法未能充分考虑运动和文本描述中的物理接触，导致生成的运动序列缺乏自然性和可信度。

核心思路：通过创建RICH-CAT数据集，包含高质量的运动和接触标签，结合CATMO方法，显式整合人体接触信息，以提高生成运动的自然性和可信度。

技术框架：整体架构包括两个VQ-VAE模型用于编码运动和接触序列，互联的GPT用于生成运动和接触信息，确保生成过程中的相互条件约束。

关键创新：最重要的创新在于引入了接触感知的生成机制，利用RICH-CAT数据集的丰富信息，显著提升了生成运动的质量，与现有方法相比，提供了更为自然和可信的运动序列。

关键设计：采用预训练的文本编码器以学习文本嵌入，能够更好地区分不同的接触类型，确保生成的运动和接触具有更高的精确度。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，CATMO方法在生成接触感知运动序列方面表现优异，相较于现有文本到运动生成方法，生成的运动序列在稳定性和自然性上有显著提升，具体性能数据未详述，但整体效果显著优于基线方法。

🎯 应用场景

该研究在虚拟现实、游戏开发和人机交互等领域具有广泛的应用潜力。通过生成自然的互动人体运动，可以提升用户体验，增强虚拟环境中的真实感。此外，该技术也可用于动画制作和机器人控制等领域，推动相关技术的发展。

📄 摘要（原文）

This paper addresses the problem of generating 3D interactive human motion from text. Given a textual description depicting the actions of different body parts in contact with static objects, we synthesize sequences of 3D body poses that are visually natural and physically plausible. Yet, this task poses a significant challenge due to the inadequate consideration of interactions by physical contacts in both motion and textual descriptions, leading to unnatural and implausible sequences. To tackle this challenge, we create a novel dataset named RICH-CAT, representing "Contact-Aware Texts" constructed from the RICH dataset. RICH-CAT comprises high-quality motion, accurate human-object contact labels, and detailed textual descriptions, encompassing over 8,500 motion-text pairs across 26 indoor/outdoor actions. Leveraging RICH-CAT, we propose a novel approach named CATMO for text-driven interactive human motion synthesis that explicitly integrates human body contacts as evidence. We employ two VQ-VAE models to encode motion and body contact sequences into distinct yet complementary latent spaces and an intertwined GPT for generating human motions and contacts in a mutually conditioned manner. Additionally, we introduce a pre-trained text encoder to learn textual embeddings that better discriminate among various contact types, allowing for more precise control over synthesized motions and contacts. Our experiments demonstrate the superior performance of our approach compared to existing text-to-motion methods, producing stable, contact-aware motion sequences. Code and data will be available for research purposes at https://xymsh.github.io/RICH-CAT/