GaussianEmoTalker: Real-Time Emotional Talking Head Synthesis with Audio-Driven and Blendshape-Based 3D Gaussian Splatting

📄 arXiv: 2607.00959v1 📥 PDF

作者: Haijie Yang, Zhenyu Zhang, Yixuan Dong, Jianjun Qian, Jian Yang

分类: cs.CV

发布日期: 2026-07-01

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出GaussianEmoTalker以解决实时情感化虚拟人合成问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 音频驱动合成 情感表达 实时渲染 高斯点云 虚拟人技术

📋 核心要点

  1. 现有的音频驱动虚拟人合成方法在生成可控情感表达方面存在不足，尤其是在实时应用中。
  2. GaussianEmoTalker通过将情感动画视为中性到情感的残差变形问题，提出了一种新的合成框架，利用高斯点云技术。
  3. 实验结果表明，GaussianEmoTalker在视频质量和唇部同步方面表现优异，且能够实现情感表达的可控性和实时渲染。

📝 摘要（中文）

音频驱动的虚拟人合成在唇部同步和视觉质量方面取得了显著进展，但在实时条件下生成可控强度的情感化头像仍然具有挑战性。本文提出了GaussianEmoTalker，一个基于3D高斯点云的实时情感化虚拟人合成框架。该方法通过构建特定身份的中性说话空间，并将情感动画视为中性到情感的残差变形问题，从而实现了高保真度的高斯属性和音素同步的中性运动。实验表明，GaussianEmoTalker在视频质量、唇部同步、情感表达可控性和实时渲染方面均优于现有的情感化虚拟人方法。

🔬 方法详解

问题定义：本文旨在解决在实时条件下生成高质量、可控情感表达的虚拟人合成问题。现有方法在情感表达的多样性和实时性方面存在明显不足。

核心思路：GaussianEmoTalker通过将情感动画视为中性到情感的残差变形问题，构建了一个基于高斯点云的框架，从而实现了高保真度的情感合成。

技术框架：该框架主要包括三个模块：1) 构建身份特定的中性说话空间；2) 预测情感条件下的残差变形；3) 通过空间-音频-情感注意力模块融合不同信号，实现稳定的渲染。

关键创新：最重要的创新在于提出了中性到情感的残差变形方法，并引入了空间-音频-情感注意力模块，以提高渲染的表现力和稳定性。与现有方法相比，该方法在情感表达的可控性和实时性上具有显著优势。

关键设计：在设计上，GaussianBlendshapes用于构建高保真度的中性运动，损失函数结合了多种信号的偏移量，以确保情感表达的准确性和稳定性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，GaussianEmoTalker在视频质量和唇部同步方面达到了竞争水平，情感表达的可控性显著提高。与最新的情感化虚拟人方法相比，该方法在渲染速度上实现了实时性能，且在情感表达的准确性上有明显提升。

🎯 应用场景

GaussianEmoTalker在虚拟现实、游戏开发和社交媒体等领域具有广泛的应用潜力。它能够为用户提供更加生动和真实的虚拟人交互体验，提升用户的沉浸感和参与感。未来，该技术还可能在远程沟通和教育等场景中发挥重要作用。

📄 摘要（原文）

Audio-driven talking head synthesis has achieved impressive progress in lip synchronization and visual quality, yet generating expressive emotional avatars with controllable intensity remains challenging, especially under real-time constraints. In this paper, we present GaussianEmoTalker, an audio-driven framework for real-time emotional talking head synthesis based on 3D Gaussian Splatting. Instead of directly predicting the final emotional avatar from speech, we formulate emotional animation as a neutral-to-emotional residual deformation problem. GaussianEmoTalker first constructs an identity-specific neutral talking space with GaussianBlendshapes, which provides high-fidelity Gaussian attributes and phoneme-synchronized neutral motion. It then predicts an emotion-conditioned residual deformation by combining mesh displacement cues, audio features, emotion categories, and intensity encodings. To fuse these heterogeneous signals, we introduce a spatial-audio-emotion attention module that estimates the offsets of Gaussian attributes for expressive and temporally stable rendering. Extensive experiments demonstrate that GaussianEmoTalker achieves competitive video quality, accurate lip synchronization, controllable emotional expression, and real-time rendering compared with recent emotional talking head methods. Our project page is available at https://njust-yang.github.io/GaussianEmoTalker.github.io/