GaussianTalker: Speaker-specific Talking Head Synthesis via 3D Gaussian Splatting

📄 arXiv: 2404.14037v3 📥 PDF

作者: Hongyun Yu, Zhan Qu, Qihang Yu, Jianchuan Chen, Zhonghua Jiang, Zhiwen Chen, Shengyu Zhang, Jimin Xu, Fei Wu, Chengfei Lv, Gang Yu

分类: cs.CV, cs.MM

发布日期: 2024-04-22 (更新: 2024-08-09)

备注: Accepted by ACM MM 2024. Project page: https://yuhongyun777.github.io/GaussianTalker/

DOI: 10.1145/3664647.3681675

💡 一句话要点

提出GaussianTalker以解决音频驱动的说话人特定合成问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱四：生成式动作 (Generative Motion) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)

关键词: 音频驱动合成 说话人特定 3D高斯点云 神经辐射场 实时渲染 面部运动控制 视觉质量提升

📋 核心要点

  1. 现有基于NeRF的音频驱动说话头合成方法在嘴唇运动同步和自然性方面存在不足，导致视觉效果不佳。
  2. GaussianTalker通过3D高斯点云的显式表示，结合说话人特定的运动翻译和动态渲染技术，提升了面部运动的控制精度。
  3. 实验表明，GaussianTalker在渲染速度上达到130 FPS，显著优于现有方法，具备实时渲染的潜力。

📝 摘要（中文）

近年来，基于神经辐射场（NeRF）的音频驱动说话头合成取得了显著成果。然而，由于NeRF隐式表示导致的姿态和表情控制不足，这些方法仍存在一些局限性，例如嘴唇运动不同步或不自然，以及视觉抖动和伪影。本文提出了GaussianTalker，一种基于3D高斯点云的新方法，通过将高斯与3D面部模型绑定，实现了面部运动的直观控制。GaussianTalker由两个模块组成：说话人特定运动翻译器和动态高斯渲染器，前者通过通用音频特征提取和定制嘴唇运动生成，实现了针对目标说话人的准确嘴唇运动；后者引入说话人特定BlendShapes，通过潜在姿态增强面部细节表示，提供稳定且真实的渲染视频。实验结果表明，GaussianTalker在说话头合成方面超越了现有的最先进方法，提供了精确的嘴唇同步和卓越的视觉质量。

🔬 方法详解

问题定义：本文旨在解决现有音频驱动说话头合成方法在嘴唇运动同步和自然性方面的不足，尤其是由于NeRF隐式表示导致的控制不精确问题。

核心思路：GaussianTalker的核心思路是利用3D高斯点云的显式表示，结合说话人特定的运动翻译器和动态渲染器，实现对面部运动的直观控制和高质量渲染。

技术框架：GaussianTalker由两个主要模块组成：说话人特定运动翻译器负责提取音频特征并生成定制的嘴唇运动；动态高斯渲染器则通过引入说话人特定的BlendShapes来增强面部细节表示。

关键创新：该方法的创新点在于通过3D高斯点云实现了面部运动的显式控制，解决了现有方法中隐式表示导致的运动不自然问题。

关键设计：在设计中，采用了通用音频特征提取技术，并结合了潜在姿态的动态高斯渲染，确保了渲染过程中的稳定性和高质量输出。具体的损失函数和网络结构细节在论文中有详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，GaussianTalker在说话头合成任务中超越了现有最先进的方法，提供了精确的嘴唇同步和卓越的视觉质量，渲染速度达到130 FPS，显著高于实时渲染的要求。

🎯 应用场景

GaussianTalker在虚拟现实、游戏开发、影视制作等领域具有广泛的应用潜力。其高效的实时渲染能力和优质的视觉效果能够为用户提供更为沉浸的交互体验，推动相关技术的发展与应用。

📄 摘要（原文）

Recent works on audio-driven talking head synthesis using Neural Radiance Fields (NeRF) have achieved impressive results. However, due to inadequate pose and expression control caused by NeRF implicit representation, these methods still have some limitations, such as unsynchronized or unnatural lip movements, and visual jitter and artifacts. In this paper, we propose GaussianTalker, a novel method for audio-driven talking head synthesis based on 3D Gaussian Splatting. With the explicit representation property of 3D Gaussians, intuitive control of the facial motion is achieved by binding Gaussians to 3D facial models. GaussianTalker consists of two modules, Speaker-specific Motion Translator and Dynamic Gaussian Renderer. Speaker-specific Motion Translator achieves accurate lip movements specific to the target speaker through universalized audio feature extraction and customized lip motion generation. Dynamic Gaussian Renderer introduces Speaker-specific BlendShapes to enhance facial detail representation via a latent pose, delivering stable and realistic rendered videos. Extensive experimental results suggest that GaussianTalker outperforms existing state-of-the-art methods in talking head synthesis, delivering precise lip synchronization and exceptional visual quality. Our method achieves rendering speeds of 130 FPS on NVIDIA RTX4090 GPU, significantly exceeding the threshold for real-time rendering performance, and can potentially be deployed on other hardware platforms.