WANDR: Intention-guided Human Motion Generation

📄 arXiv: 2404.15383v1 📥 PDF

作者: Markos Diomataris, Nikos Athanasiou, Omid Taheri, Xi Wang, Otmar Hilliges, Michael J. Black

分类: cs.CV, cs.AI

发布日期: 2024-04-23

💡 一句话要点

提出WANDR以解决自然人类运动生成问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱四：生成式动作 (Generative Motion) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)

关键词: 人类运动生成 意图导向 条件变分自编码器 目标导向运动 虚拟现实 机器人控制 数据驱动模型

📋 核心要点

  1. 现有方法在生成自然人类运动方面存在泛化能力不足和运动自然性差的问题，尤其是在目标导向运动的训练数据稀缺的情况下。
  2. 本文提出WANDR，一个数据驱动模型，通过引入意图特征，生成自然的人类运动，使得末端效应器能够到达指定目标位置。
  3. 实验结果表明，WANDR能够生成自然且长期的运动，成功到达3D目标，并在未见目标位置上展现出良好的泛化能力。

📝 摘要（中文）

合成自然的人类运动，使3D人类虚拟形象能够在3D空间中行走并达到任意目标，仍然是一个未解决的问题，且具有广泛的应用。现有方法（数据驱动或强化学习）在泛化能力和运动自然性方面存在局限，主要障碍是缺乏结合运动和目标到达的训练数据。为此，本文提出WANDR，一个数据驱动模型，利用虚拟形象的初始姿势和目标的3D位置生成自然的人类运动，使末端效应器（手腕）到达目标位置。我们引入了新颖的意图特征，驱动丰富的目标导向运动，意图引导代理到达目标，并在不需要定义子目标或整个运动路径的情况下，交互性地适应新情况。WANDR是一个条件变分自编码器（c-VAE），我们使用AMASS和CIRCLE数据集进行训练。我们对该方法进行了广泛评估，展示了其生成自然和长期运动的能力，能够到达3D目标并对未见目标位置进行泛化。

🔬 方法详解

问题定义：本文旨在解决自然人类运动生成的问题，尤其是在缺乏结合运动和目标到达的训练数据的情况下，现有方法在泛化能力和运动自然性方面存在明显不足。

核心思路：WANDR通过引入意图特征，驱动目标导向的运动生成，允许模型在不需要明确子目标或完整路径的情况下，自适应地应对新情况。

技术框架：WANDR是一个条件变分自编码器（c-VAE），其整体架构包括输入初始姿势和目标位置，生成自然运动的过程。模型通过意图特征引导运动生成，并结合AMASS和CIRCLE数据集进行训练。

关键创新：WANDR的主要创新在于引入意图特征，这使得模型能够在多种情况下生成自然的运动，并且能够在训练数据中包含目标导向和非目标导向的运动。与现有方法相比，WANDR在生成灵活性和适应性上具有显著优势。

关键设计：模型的关键设计包括意图特征的提取与利用，损失函数的设置以平衡运动自然性与目标到达的准确性，以及网络结构的优化以提高生成效率和质量。具体的参数设置和网络架构细节在论文中有详细描述。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，WANDR在生成自然运动方面表现优异，能够成功到达3D目标，并在未见目标位置上实现良好的泛化能力。与基线方法相比，WANDR在运动自然性和生成灵活性上均有显著提升，具体性能数据在论文中提供。

🎯 应用场景

WANDR的研究成果在多个领域具有潜在应用价值，包括虚拟现实、游戏开发、机器人控制和人机交互等。通过生成自然的人类运动，WANDR可以提升虚拟角色的表现力和交互性，增强用户体验。此外，该技术还可以用于训练机器人在复杂环境中进行目标导向的运动，具有广泛的实际应用前景。

📄 摘要（原文）

Synthesizing natural human motions that enable a 3D human avatar to walk and reach for arbitrary goals in 3D space remains an unsolved problem with many applications. Existing methods (data-driven or using reinforcement learning) are limited in terms of generalization and motion naturalness. A primary obstacle is the scarcity of training data that combines locomotion with goal reaching. To address this, we introduce WANDR, a data-driven model that takes an avatar's initial pose and a goal's 3D position and generates natural human motions that place the end effector (wrist) on the goal location. To solve this, we introduce novel intention features that drive rich goal-oriented movement. Intention guides the agent to the goal, and interactively adapts the generation to novel situations without needing to define sub-goals or the entire motion path. Crucially, intention allows training on datasets that have goal-oriented motions as well as those that do not. WANDR is a conditional Variational Auto-Encoder (c-VAE), which we train using the AMASS and CIRCLE datasets. We evaluate our method extensively and demonstrate its ability to generate natural and long-term motions that reach 3D goals and generalize to unseen goal locations. Our models and code are available for research purposes at wandr.is.tue.mpg.de.