TLControl: Trajectory and Language Control for Human Motion Synthesis

📄 arXiv: 2311.17135v4 📥 PDF

作者: Weilin Wan, Zhiyang Dou, Taku Komura, Wenping Wang, Dinesh Jayaraman, Lingjie Liu

分类: cs.CV, cs.GR

发布日期: 2023-11-28 (更新: 2024-07-24)

💡 一句话要点

提出TLControl以解决人类运动合成中的语言与轨迹控制问题

🎯 匹配领域: 支柱四：生成式动作 (Generative Motion) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 人类运动合成 轨迹控制 语言控制 VQ-VAE Masked Trajectories Transformer 优化技术 交互式动画 增强现实

📋 核心要点

  1. 现有方法在多关节控制的运动合成中，往往无法同时兼顾语言和轨迹的精确控制，导致合成效果不理想。
  2. TLControl通过结合低级轨迹控制和高级语言语义控制，利用VQ-VAE和Masked Trajectories Transformer实现高效的运动合成。
  3. 实验结果表明，TLControl在轨迹准确性和时间效率上显著优于现有方法，提升幅度明显，适合高质量动画生成。

📝 摘要（中文）

可控的人类运动合成在增强现实/虚拟现实、游戏和具身人工智能等应用中至关重要。现有方法往往只关注语言或完整轨迹控制，缺乏与用户指定轨迹精确对齐的运动合成能力，尤其是在多关节控制方面。为了解决这些问题，本文提出了TLControl，一种新颖的现实人类运动合成方法，结合了低级轨迹和高级语言语义控制，通过神经网络和优化技术的集成实现。我们首先训练了一个VQ-VAE，以构建一个结构良好的、按身体部位组织的紧凑潜在运动空间。然后，我们提出了一个Masked Trajectories Transformer（MTT），用于预测基于语言和轨迹的运动分布。经过训练后，我们使用MTT根据用户指定的部分轨迹和文本描述进行初步运动预测，最后引入测试时优化以精细化这些粗略预测，实现精确的轨迹控制。综合实验表明，TLControl在轨迹准确性和时间效率上显著超越了现有最先进技术，适用于交互式和高质量动画生成。

🔬 方法详解

问题定义：本文旨在解决可控人类运动合成中的语言与轨迹控制问题。现有方法往往只关注单一方面，导致合成的运动无法精确对齐用户指定的轨迹，尤其在多关节控制时表现不佳。

核心思路：TLControl的核心思路是将低级轨迹控制与高级语言语义控制相结合，通过神经网络和优化技术的融合，提升运动合成的精确性和灵活性。

技术框架：整体架构包括三个主要模块：首先，使用VQ-VAE训练一个结构良好的潜在运动空间；其次，利用Masked Trajectories Transformer（MTT）进行运动分布预测；最后，通过测试时优化对初步预测进行精细化处理。

关键创新：TLControl的关键创新在于引入了MTT模型，能够同时考虑语言和轨迹信息进行运动合成，显著提高了合成的精确度和效率，区别于传统方法的单一控制方式。

关键设计：在设计中，VQ-VAE用于构建潜在空间，MTT则通过条件输入进行运动预测，优化过程允许用户设定不同的优化目标，确保高效的运行时性能。具体的损失函数和网络结构设计未在摘要中详细说明，需查阅原文以获取更多细节。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，TLControl在轨迹准确性和时间效率上显著优于现有最先进技术，具体提升幅度在实验中得到了验证，表明其在交互式动画生成中的实际应用价值。

🎯 应用场景

TLControl的研究成果在增强现实、虚拟现实、游戏开发和具身人工智能等多个领域具有广泛的应用潜力。通过提供高精度的运动合成，能够提升用户体验，支持更复杂的交互场景，推动动画生成技术的发展。

📄 摘要（原文）

Controllable human motion synthesis is essential for applications in AR/VR, gaming and embodied AI. Existing methods often focus solely on either language or full trajectory control, lacking precision in synthesizing motions aligned with user-specified trajectories, especially for multi-joint control. To address these issues, we present TLControl, a novel method for realistic human motion synthesis, incorporating both low-level Trajectory and high-level Language semantics controls, through the integration of neural-based and optimization-based techniques. Specifically, we begin with training a VQ-VAE for a compact and well-structured latent motion space organized by body parts. We then propose a Masked Trajectories Transformer (MTT) for predicting a motion distribution conditioned on language and trajectory. Once trained, we use MTT to sample initial motion predictions given user-specified partial trajectories and text descriptions as conditioning. Finally, we introduce a test-time optimization to refine these coarse predictions for precise trajectory control, which offers flexibility by allowing users to specify various optimization goals and ensures high runtime efficiency. Comprehensive experiments show that TLControl significantly outperforms the state-of-the-art in trajectory accuracy and time efficiency, making it practical for interactive and high-quality animation generation.