Beyond Talking -- Generating Holistic 3D Human Dyadic Motion for Communication

📄 arXiv: 2403.19467v1 📥 PDF

作者: Mingze Sun, Chao Xu, Xinyu Jiang, Yang Liu, Baigui Sun, Ruqi Huang

分类: cs.CV

发布日期: 2024-03-28

💡 一句话要点

提出一种生成3D人类对话运动的新方法以增强人际沟通

🎯 匹配领域: 支柱四：生成式动作 (Generative Motion) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)

关键词: 3D运动生成 人类沟通 变换器模型 多模态学习 VQ-VAE 实时交互 数据集构建

📋 核心要点

  1. 现有方法在生成真实人类沟通运动方面存在不足，难以同时考虑发言者与听众的动态交互。
  2. 本文提出通过因式分解音频特征与文本语义信息结合，训练VQ-VAEs并使用链式变换器模型生成协调的3D运动。
  3. 我们的模型在两个基准数据集上达到了最先进的性能，展示了生成运动的多样性和协调性。

📝 摘要（中文）

本文介绍了一项创新任务，旨在生成3D整体人类运动，以增强发言者和听众之间的沟通。我们的方法通过因式分解音频特征并结合文本语义信息，促进了更真实和协调的运动生成。我们分别训练了针对发言者和听众的VQ-VAEs，考虑了二者之间的实时相互影响，并提出了一种新颖的链式变换器自回归模型，有效表征真实世界的沟通场景，能够同时生成发言者和听众的运动。我们的研究在两个基准数据集上展示了最先进的性能，并引入了HoCo整体沟通数据集，为未来研究提供了宝贵资源。

🔬 方法详解

问题定义：本文旨在解决生成真实人类沟通运动的挑战，现有方法往往无法有效捕捉发言者与听众之间的动态交互，导致生成的运动缺乏协调性和真实感。

核心思路：我们的方法通过因式分解音频特征并结合文本语义信息，分别训练发言者和听众的VQ-VAEs，利用链式变换器自回归模型来同时生成二者的运动，确保生成结果的协调性与多样性。

技术框架：整体架构包括音频特征提取、文本语义分析、VQ-VAE训练和链式变换器生成模块。首先提取音频和文本特征，然后分别训练VQ-VAEs，最后通过变换器模型生成运动。

关键创新：本研究的主要创新在于引入链式变换器自回归模型，能够有效捕捉发言者与听众之间的实时相互影响，生成的运动更加自然和协调。

关键设计：在模型设计中，我们采用了特定的损失函数来平衡生成运动的多样性与协调性，同时在网络结构上进行了优化，以提高生成效率和效果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

我们的模型在两个基准数据集上实现了最先进的性能，相较于现有方法，生成运动的协调性和多样性显著提升，具体性能数据尚未披露，但结果表明该方法具有较强的实用性和有效性。

🎯 应用场景

该研究的潜在应用领域包括虚拟现实、游戏开发和人机交互等。通过生成更自然的3D人类运动，可以提升用户体验，促进更真实的沟通场景，未来可能对社交机器人和智能助手的发展产生深远影响。

📄 摘要（原文）

In this paper, we introduce an innovative task focused on human communication, aiming to generate 3D holistic human motions for both speakers and listeners. Central to our approach is the incorporation of factorization to decouple audio features and the combination of textual semantic information, thereby facilitating the creation of more realistic and coordinated movements. We separately train VQ-VAEs with respect to the holistic motions of both speaker and listener. We consider the real-time mutual influence between the speaker and the listener and propose a novel chain-like transformer-based auto-regressive model specifically designed to characterize real-world communication scenarios effectively which can generate the motions of both the speaker and the listener simultaneously. These designs ensure that the results we generate are both coordinated and diverse. Our approach demonstrates state-of-the-art performance on two benchmark datasets. Furthermore, we introduce the HoCo holistic communication dataset, which is a valuable resource for future research. Our HoCo dataset and code will be released for research purposes upon acceptance.