Speech-driven Personalized Gesture Synthetics: Harnessing Automatic Fuzzy Feature Inference
作者: Fan Zhang, Zhaohan Wang, Xin Lyu, Siyuan Zhao, Mengjian Li, Weidong Geng, Naye Ji, Hui Du, Fuxing Gao, Hao Wu, Shunman Li
分类: cs.SD, cs.AI, cs.CV, cs.GR, cs.HC, eess.AS
发布日期: 2024-03-16
备注: 12 pages,
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
提出Persona-Gestor以解决语音驱动手势生成的挑战
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 语音驱动手势生成 模糊特征提取 自适应层归一化 虚拟人技术 3D全身手势 多模态处理 生成模型
📋 核心要点
- 现有的语音驱动手势生成方法依赖于显式特征输入，导致手势表现力不足和适用性受限。
- 论文提出Persona-Gestor模型，通过模糊特征提取和AdaLN变换器架构，仅依赖原始语音生成个性化手势。
- 在Trinity、ZEGGS和BEAT数据集上的实验表明，模型性能显著优于现有方法，提升了可用性和泛化能力。
📝 摘要（中文）
语音驱动的手势生成是虚拟人类创造中的新兴领域。然而，准确确定和处理多种输入特征（如声学、语义、情感、个性等）仍然是一个重大挑战。传统方法依赖于各种显式特征输入和复杂的多模态处理，限制了手势的表现力和适用性。为了解决这些问题，我们提出了Persona-Gestor，这是一种新颖的端到端生成模型，旨在仅依靠原始语音音频生成高度个性化的3D全身手势。该模型结合了模糊特征提取器和非自回归自适应层归一化（AdaLN）变换器扩散架构。模糊特征提取器利用模糊推理策略自动推断隐式、连续的模糊特征，这些特征作为统一的潜在特征输入到AdaLN变换器中。实验结果表明，Persona-Gestor在Trinity、ZEGGS和BEAT数据集上的表现优于当前最先进的方法，提升了系统的可用性和泛化能力。
🔬 方法详解
问题定义：本论文旨在解决语音驱动手势生成中的特征提取和处理问题。现有方法依赖于显式特征输入，限制了手势的表现力和适用性。
核心思路：提出Persona-Gestor模型，采用模糊特征提取器自动推断隐式特征，并结合AdaLN变换器架构进行手势生成，以提高生成的个性化和自然性。
技术框架：整体架构包括模糊特征提取器和AdaLN变换器。模糊特征提取器负责从原始语音中提取隐式特征，AdaLN变换器则通过条件机制建模模糊特征与手势序列之间的关系。
关键创新：最重要的创新在于模糊特征提取器的设计，能够自动推断隐式、连续的模糊特征，并通过AdaLN变换器实现高效的手势生成。与传统方法相比，Persona-Gestor在特征处理上更加灵活和高效。
关键设计：模型采用非自回归的AdaLN变换器架构，设计了统一的条件机制，确保手势与语音的高同步性，同时保持自然性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，Persona-Gestor在Trinity、ZEGGS和BEAT数据集上的表现优于现有最先进的方法，具体提升幅度达到XX%（具体数据未知），显著提高了手势生成的自然性和个性化水平。
🎯 应用场景
该研究的潜在应用领域包括虚拟人类交互、游戏开发、教育培训等。通过实现自然且个性化的手势生成，Persona-Gestor可以提升虚拟角色的表现力和用户体验，推动虚拟人技术的发展。
📄 摘要（原文）
Speech-driven gesture generation is an emerging field within virtual human creation. However, a significant challenge lies in accurately determining and processing the multitude of input features (such as acoustic, semantic, emotional, personality, and even subtle unknown features). Traditional approaches, reliant on various explicit feature inputs and complex multimodal processing, constrain the expressiveness of resulting gestures and limit their applicability. To address these challenges, we present Persona-Gestor, a novel end-to-end generative model designed to generate highly personalized 3D full-body gestures solely relying on raw speech audio. The model combines a fuzzy feature extractor and a non-autoregressive Adaptive Layer Normalization (AdaLN) transformer diffusion architecture. The fuzzy feature extractor harnesses a fuzzy inference strategy that automatically infers implicit, continuous fuzzy features. These fuzzy features, represented as a unified latent feature, are fed into the AdaLN transformer. The AdaLN transformer introduces a conditional mechanism that applies a uniform function across all tokens, thereby effectively modeling the correlation between the fuzzy features and the gesture sequence. This module ensures a high level of gesture-speech synchronization while preserving naturalness. Finally, we employ the diffusion model to train and infer various gestures. Extensive subjective and objective evaluations on the Trinity, ZEGGS, and BEAT datasets confirm our model's superior performance to the current state-of-the-art approaches. Persona-Gestor improves the system's usability and generalization capabilities, setting a new benchmark in speech-driven gesture synthesis and broadening the horizon for virtual human technology. Supplementary videos and code can be accessed at https://zf223669.github.io/Diffmotion-v2-website/