GaussianTalker: Real-Time High-Fidelity Talking Head Synthesis with Audio-Driven 3D Gaussian Splatting

📄 arXiv: 2404.16012v2 📥 PDF

作者: Kyusun Cho, Joungbin Lee, Heeji Yoon, Yeobin Hong, Jaehoon Ko, Sangjun Ahn, Seungryong Kim

分类: cs.CV, cs.MM

发布日期: 2024-04-24 (更新: 2024-04-25)

备注: Project Page: https://ku-cvlab.github.io/GaussianTalker

🔗 代码/项目: GITHUB

💡 一句话要点

提出GaussianTalker以解决实时高保真说话头合成问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 高保真合成 实时渲染 3D高斯点云 音频驱动 面部动画 虚拟现实 人机交互

📋 核心要点

  1. 现有方法在实时生成高保真说话头时面临控制精度和渲染速度的挑战。
  2. GaussianTalker通过将3D高斯属性与音频特征融合，提出了一种新的控制方式，提升了生成的稳定性和精度。
  3. 实验表明，GaussianTalker在面部细节、唇部同步和渲染速度上均显著优于现有技术，达到120 FPS的渲染速度。

📝 摘要（中文）

我们提出了GaussianTalker，这是一种新颖的框架，用于实时生成可控制姿势的说话头。该框架利用3D高斯点云（3DGS）的快速渲染能力，同时解决了直接用语音音频控制3DGS的挑战。GaussianTalker构建了头部的标准3DGS表示，并与音频同步变形。关键在于将3D高斯属性编码到共享的隐式特征表示中，并与音频特征合并，以操控每个高斯属性。实验结果展示了GaussianTalker在面部保真度、唇同步精度和渲染速度方面的优越性，渲染速度高达120 FPS，超越了之前的基准。

🔬 方法详解

问题定义：论文旨在解决实时生成高保真说话头的难题，现有方法在控制精度和渲染速度方面存在不足，难以满足实时应用需求。

核心思路：GaussianTalker的核心思路是将3D高斯属性编码为共享的隐式特征表示，并与音频特征结合，从而实现对每个高斯属性的精确操控。这种设计利用了空间感知特征，增强了相邻点之间的交互。

技术框架：GaussianTalker的整体架构包括三个主要模块：首先是构建标准3DGS表示，其次是与音频同步的变形模块，最后是空间音频注意力模块，用于预测每个高斯属性的帧间偏移。

关键创新：该研究的主要创新在于引入空间音频注意力机制，替代了传统的拼接或乘法方法，从而在操控大量高斯及其复杂参数时提供了更稳定的表现。

关键设计：在技术细节上，GaussianTalker采用了共享隐式特征表示，设计了特定的损失函数以优化高斯属性的操控，并通过空间音频注意力模块实现了高效的特征融合。整体网络结构经过精心设计，以确保高效的实时渲染。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，GaussianTalker在面部保真度和唇部同步精度方面显著优于现有方法，渲染速度高达120 FPS，超越了之前的基准，展现了其在实时应用中的强大潜力。

🎯 应用场景

GaussianTalker在虚拟现实、动画制作和游戏开发等领域具有广泛的应用潜力。其高效的实时渲染能力和高保真的面部表现，可以为用户提供更加沉浸和真实的交互体验。此外，该技术还可用于教育、医疗等领域的虚拟助手和远程沟通工具，提升人机交互的自然性和有效性。

📄 摘要（原文）

We propose GaussianTalker, a novel framework for real-time generation of pose-controllable talking heads. It leverages the fast rendering capabilities of 3D Gaussian Splatting (3DGS) while addressing the challenges of directly controlling 3DGS with speech audio. GaussianTalker constructs a canonical 3DGS representation of the head and deforms it in sync with the audio. A key insight is to encode the 3D Gaussian attributes into a shared implicit feature representation, where it is merged with audio features to manipulate each Gaussian attribute. This design exploits the spatial-aware features and enforces interactions between neighboring points. The feature embeddings are then fed to a spatial-audio attention module, which predicts frame-wise offsets for the attributes of each Gaussian. It is more stable than previous concatenation or multiplication approaches for manipulating the numerous Gaussians and their intricate parameters. Experimental results showcase GaussianTalker's superiority in facial fidelity, lip synchronization accuracy, and rendering speed compared to previous methods. Specifically, GaussianTalker achieves a remarkable rendering speed up to 120 FPS, surpassing previous benchmarks. Our code is made available at https://github.com/KU-CVLAB/GaussianTalker/ .