GSTalker: Real-time Audio-Driven Talking Face Generation via Deformable Gaussian Splatting
作者: Bo Chen, Shoukang Hu, Qi Chen, Chenpeng Du, Ran Yi, Yanmin Qian, Xie Chen
分类: cs.CV
发布日期: 2024-04-29
💡 一句话要点
提出GSTalker以解决音频驱动的实时人脸生成问题
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 音频驱动 人脸生成 高斯变形 实时渲染 多分辨率哈希 深度学习 计算机视觉
📋 核心要点
- 现有的2D和3D NeRF建模框架在训练和渲染速度上存在显著不足，通常需要数小时的训练时间和每帧几秒的渲染时间。
- GSTalker通过音频驱动的高斯变形场来同步3D高斯体与音频信息，结合多分辨率哈希网格和时间平滑模块，提升了生成效果。
- 实验结果表明，GSTalker在特定人物视频上能够实现高保真度和音频唇同步，训练时间仅需40分钟，渲染速度达到125 FPS。
📝 摘要（中文）
我们提出了GStalker，一个基于高斯点云的3D音频驱动人脸生成模型，能够在40分钟内快速训练，并以125 FPS的速度实时渲染，使用3到5分钟的视频作为训练材料。与以往需要数小时训练和每帧几秒渲染的2D和3D NeRF建模框架相比，GSTalker通过学习音频驱动的高斯变形场，将3D高斯体与音频信息同步，结合多分辨率哈希网格的三平面和时间平滑模块，以学习精细的面部细节。此外，设计了基于姿态的变形场来建模稳定的躯干。大量在特定人物视频和音频轨道上的实验验证了GSTalker能够生成高保真且与音频同步的结果，且训练和渲染速度均较快。
🔬 方法详解
问题定义：本论文旨在解决音频驱动的人脸生成中的实时性和训练效率问题。现有方法通常需要长时间的训练和渲染，限制了其应用场景。
核心思路：GStalker通过学习音频驱动的高斯变形场，将3D高斯体与音频信息进行同步，采用高效的多分辨率哈希网格和时间平滑模块来捕捉细致的面部表情变化。
技术框架：整体架构包括音频输入模块、变形场学习模块和渲染模块。音频输入模块提取音频特征，变形场学习模块负责生成与音频同步的高斯变形，渲染模块则实现实时的面部图像生成。
关键创新：GSTalker的主要创新在于引入了音频驱动的高斯变形场和多分辨率哈希网格，显著提高了训练速度和渲染效率，与传统方法相比，能够在更短的时间内生成高质量的结果。
关键设计：在设计上，GSTalker采用了基于姿态的变形场来稳定躯干，并通过学习粗略的静态高斯表示来初始化3D高斯体，优化了条件高斯变形场的效率。
🖼️ 关键图片
📊 实验亮点
实验结果显示，GSTalker在特定人物视频上能够生成高保真度的音频唇同步效果，训练时间仅需40分钟，渲染速度达到125 FPS，显著优于传统的2D和3D NeRF方法，后者通常需要数小时的训练和每帧几秒的渲染时间。
🎯 应用场景
该研究的潜在应用领域包括虚拟现实、游戏开发和影视制作等，能够为角色动画、实时视频合成等提供高效的解决方案。随着技术的进步，GSTalker可能会在社交媒体和在线教育等领域产生更广泛的影响。
📄 摘要（原文）
We present GStalker, a 3D audio-driven talking face generation model with Gaussian Splatting for both fast training (40 minutes) and real-time rendering (125 FPS) with a 3$\sim$5 minute video for training material, in comparison with previous 2D and 3D NeRF-based modeling frameworks which require hours of training and seconds of rendering per frame. Specifically, GSTalker learns an audio-driven Gaussian deformation field to translate and transform 3D Gaussians to synchronize with audio information, in which multi-resolution hashing grid-based tri-plane and temporal smooth module are incorporated to learn accurate deformation for fine-grained facial details. In addition, a pose-conditioned deformation field is designed to model the stabilized torso. To enable efficient optimization of the condition Gaussian deformation field, we initialize 3D Gaussians by learning a coarse static Gaussian representation. Extensive experiments in person-specific videos with audio tracks validate that GSTalker can generate high-fidelity and audio-lips synchronized results with fast training and real-time rendering speed.