Human Gaussian Splatting: Real-time Rendering of Animatable Avatars

📄 arXiv: 2311.17113v2 📥 PDF

作者: Arthur Moreau, Jifei Song, Helisa Dhamo, Richard Shaw, Yiren Zhou, Eduardo Pérez-Pellitero

分类: cs.CV, cs.GR

发布日期: 2023-11-28 (更新: 2024-03-28)

备注: Accepted to CVPR 2024

💡 一句话要点

提出基于3D高斯点云的人体模型以解决实时渲染问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 实时渲染 高斯点云 虚拟人建模 动画合成 多视角学习

📋 核心要点

  1. 现有的虚拟人建模方法在实时渲染和动画表现上存在显著不足，尤其是在不同姿态下的质量下降。
  2. 本研究提出了一种基于3D高斯点云的人体模型，通过高效的变形方法实现实时渲染和动画效果。
  3. 在THuman4数据集上，我们的方法在新姿态合成任务中实现了1.5 dB的PSNR提升，同时保持80 fps的实时渲染速度。

📝 摘要（中文）

本研究解决了从多视角视频中学习的逼真人体头像的实时渲染问题。传统的虚拟人建模和渲染方法通常依赖于纹理网格，而新兴的神经体表示虽然在视觉质量上表现出色，但在实时渲染时存在困难，并且在角色动画时质量会下降。我们提出了一种基于3D高斯点云的可动画人体模型，采用粗到细的变形方法结合前向蒙皮和局部非刚性细化，从而实现高效的实时渲染。通过对THuman4数据集的评估，我们的方法在新姿态合成上比现有最先进的方法提高了1.5 dB PSNR，同时能够以80 fps的速度在512x512分辨率下实时渲染。

🔬 方法详解

问题定义：本研究旨在解决从多视角视频中学习的逼真人体头像的实时渲染问题。现有方法通常依赖于纹理网格，难以实现实时渲染，并且在角色动画时质量会显著下降。

核心思路：我们提出了一种基于3D高斯点云的可动画人体模型，利用高斯原语在规范空间中的表示，通过粗到细的变形方法实现高效的实时渲染。

技术框架：整体架构包括从多视角观察中学习高斯模型的过程，采用前向蒙皮和局部非刚性细化的组合方法来实现模型的变形。

关键创新：本研究的主要创新在于引入3D高斯点云作为人体模型的基础表示，与传统的纹理网格方法相比，显著提高了渲染效率和动画质量。

关键设计：在模型训练过程中，我们采用了端到端的学习方式，设计了适合高斯表示的损失函数，并优化了网络结构以支持实时渲染。具体参数设置和网络细节在论文中有详细描述。

📊 实验亮点

在THuman4数据集上的实验结果显示，我们的方法在新姿态合成任务中实现了1.5 dB的PSNR提升，相较于现有最先进的方法具有显著优势。同时，我们的方法能够以80 fps的速度在512x512分辨率下进行实时渲染，展示了其高效性。

🎯 应用场景

该研究的潜在应用领域包括虚拟现实、游戏开发和动画制作等，能够为用户提供更加真实和流畅的人体动画体验。未来，该技术有望在社交媒体和在线会议等场景中得到广泛应用，提升虚拟交互的真实感和沉浸感。

📄 摘要（原文）

This work addresses the problem of real-time rendering of photorealistic human body avatars learned from multi-view videos. While the classical approaches to model and render virtual humans generally use a textured mesh, recent research has developed neural body representations that achieve impressive visual quality. However, these models are difficult to render in real-time and their quality degrades when the character is animated with body poses different than the training observations. We propose an animatable human model based on 3D Gaussian Splatting, that has recently emerged as a very efficient alternative to neural radiance fields. The body is represented by a set of gaussian primitives in a canonical space which is deformed with a coarse to fine approach that combines forward skinning and local non-rigid refinement. We describe how to learn our Human Gaussian Splatting (HuGS) model in an end-to-end fashion from multi-view observations, and evaluate it against the state-of-the-art approaches for novel pose synthesis of clothed body. Our method achieves 1.5 dB PSNR improvement over the state-of-the-art on THuman4 dataset while being able to render in real-time (80 fps for 512x512 resolution).