DiffSHEG: A Diffusion-Based Approach for Real-Time Speech-driven Holistic 3D Expression and Gesture Generation

📄 arXiv: 2401.04747v2 📥 PDF

作者: Junming Chen, Yunfei Liu, Jianan Wang, Ailing Zeng, Yu Li, Qifeng Chen

分类: cs.SD, cs.AI, cs.CV, cs.GR, eess.AS

发布日期: 2024-01-09 (更新: 2024-04-06)

备注: Accepted by CVPR 2024. Project page: https://jeremycjm.github.io/proj/DiffSHEG

💡 一句话要点

提出DiffSHEG以解决同步表达与手势生成问题

🎯 匹配领域: 支柱四：生成式动作 (Generative Motion) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)

关键词: 语音驱动生成 3D表情 手势生成 扩散模型 多模态融合 实时生成 数字人类 具身代理

📋 核心要点

  1. 现有方法主要集中在单一的共语手势或表情生成上，缺乏对同步生成的研究，导致生成效果不佳。
  2. DiffSHEG通过扩散模型实现表情与手势的联合生成，采用单向信息流设计，提升了表达与手势的匹配效果。
  3. 在两个公共数据集上，DiffSHEG在定量和定性评估中均表现出色，用户研究也验证了其优越性。

📝 摘要（中文）

我们提出了DiffSHEG，一种基于扩散模型的语音驱动的整体3D表情与手势生成方法，支持任意长度的序列生成。以往的研究主要关注单独的共语手势或表情生成，而同步生成表达与手势的研究仍然较少。为了解决这一问题，我们的扩散模型共语运动生成变换器实现了从表情到手势的单向信息流，促进了表达与手势分布的匹配。此外，我们引入了一种基于外推的采样策略，以实现扩散模型中任意长序列的生成，提供了灵活性和计算效率。我们的研究在两个公共数据集上进行了评估，取得了定量和定性上的最先进性能，并通过用户研究确认了DiffSHEG相较于先前方法的优越性。通过实现实时生成富有表现力和同步的动作，DiffSHEG展示了其在数字人类和具身代理开发中的潜在应用。

🔬 方法详解

问题定义：本论文旨在解决同步生成语音驱动的3D表情与手势的问题。现有方法往往只关注单一的表情或手势生成，缺乏有效的联合生成机制，导致生成的动作不够自然和协调。

核心思路：DiffSHEG的核心思路是通过扩散模型实现表情与手势的联合生成，采用单向信息流设计，使得表情信息能够有效指导手势生成，从而提高生成的同步性和自然性。

技术框架：DiffSHEG的整体架构包括数据预处理、扩散模型训练和生成阶段。首先，输入的语音信号经过特征提取，然后通过扩散模型进行联合生成，最后输出同步的3D表情与手势。

关键创新：DiffSHEG的主要创新在于引入了单向信息流的扩散模型，使得表情与手势的生成更加协调。此外，采用了基于外推的采样策略，支持任意长度序列的生成，提升了模型的灵活性和计算效率。

关键设计：在模型设计中，采用了特定的损失函数来优化表情与手势的匹配度，并在网络结构上进行了针对性的调整，以增强模型的生成能力和稳定性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在两个公共数据集上，DiffSHEG在定量评估中达到了最先进的性能，具体表现为生成的表情与手势的同步性和自然性显著提升。用户研究结果显示，DiffSHEG在用户满意度和生成质量上均优于现有方法，验证了其实际应用价值。

🎯 应用场景

DiffSHEG在数字人类和具身代理的开发中具有广泛的应用潜力。通过实时生成富有表现力的同步动作，该方法可以用于虚拟现实、游戏、动画制作等领域，提升用户体验和交互性。此外，DiffSHEG还可以为人机交互提供更加自然的表达方式，推动相关技术的发展。

📄 摘要（原文）

We propose DiffSHEG, a Diffusion-based approach for Speech-driven Holistic 3D Expression and Gesture generation with arbitrary length. While previous works focused on co-speech gesture or expression generation individually, the joint generation of synchronized expressions and gestures remains barely explored. To address this, our diffusion-based co-speech motion generation transformer enables uni-directional information flow from expression to gesture, facilitating improved matching of joint expression-gesture distributions. Furthermore, we introduce an outpainting-based sampling strategy for arbitrary long sequence generation in diffusion models, offering flexibility and computational efficiency. Our method provides a practical solution that produces high-quality synchronized expression and gesture generation driven by speech. Evaluated on two public datasets, our approach achieves state-of-the-art performance both quantitatively and qualitatively. Additionally, a user study confirms the superiority of DiffSHEG over prior approaches. By enabling the real-time generation of expressive and synchronized motions, DiffSHEG showcases its potential for various applications in the development of digital humans and embodied agents.