SplattingAvatar: Realistic Real-Time Human Avatars with Mesh-Embedded Gaussian Splatting

📄 arXiv: 2403.05087v1 📥 PDF

作者: Zhijing Shao, Zhaolong Wang, Zhuang Li, Duotun Wang, Xiangru Lin, Yu Zhang, Mingming Fan, Zeyu Wang

分类: cs.GR, cs.CV

发布日期: 2024-03-08

备注: [CVPR 2024] Code and data are available at https://github.com/initialneil/SplattingAvatar

💡 一句话要点

提出SplattingAvatar以实现高效真实的人类虚拟形象渲染

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 虚拟人类 高斯点云 三角网格 实时渲染 动画技术 计算机视觉 机器学习

📋 核心要点

  1. 现有的虚拟人类渲染方法在运动和外观建模上存在局限，难以实现高效且真实的效果。
  2. SplattingAvatar通过将高斯点云嵌入三角网格，解耦运动与外观，提升了渲染效率和质量。
  3. 该方法在多个数据集上展示了最先进的渲染质量，能够在现代GPU上实现300 FPS的渲染速度。

📝 摘要（中文）

我们提出了SplattingAvatar，这是一种混合3D表示的逼真虚拟人类头像，结合了三角网格上的高斯点云渲染，能够在现代GPU上实现超过300帧每秒的渲染速度，并在移动设备上达到30帧每秒。该方法通过明确的网格几何和隐式的高斯点云外观建模，解耦了虚拟人类的运动和外观。高斯点云通过三角网格的重心坐标和位移定义，作为Phong表面进行渲染。我们扩展了提升优化方法，以同时优化高斯参数，同时在三角网格上行走。SplattingAvatar的混合表示使得网格表示低频运动和表面变形，而高斯点云则负责高频几何和细节外观。与现有依赖于基于MLP的线性混合蒙皮（LBS）场的方法不同，我们直接通过网格控制高斯的旋转和位移，从而增强了与各种动画技术的兼容性。

🔬 方法详解

问题定义：现有的虚拟人类渲染方法通常依赖于线性混合蒙皮（LBS）技术，难以有效地解耦运动和外观，导致渲染质量和效率不足。

核心思路：SplattingAvatar通过将高斯点云嵌入三角网格，利用明确的几何结构和隐式的外观建模，解耦虚拟人类的运动与外观，从而实现高效的渲染。

技术框架：该方法的整体架构包括三角网格表示、基于高斯的外观建模和优化模块。三角网格负责低频运动和表面变形，而高斯点云则处理高频细节。

关键创新：SplattingAvatar的主要创新在于直接通过网格控制高斯的旋转和位移，增强了与多种动画技术的兼容性，区别于传统的LBS方法。

关键设计：在参数设置上，使用重心坐标和位移定义高斯点云，并采用提升优化方法来同时优化高斯参数，确保渲染质量和效率。该方法能够从单目视频中训练全身和头部头像。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在多个数据集上，SplattingAvatar展示了最先进的渲染质量，能够在现代GPU上实现超过300 FPS的渲染速度，并在移动设备上达到30 FPS，显著提升了渲染效率和视觉效果。

🎯 应用场景

SplattingAvatar在游戏、虚拟现实和增强现实等领域具有广泛的应用潜力。其高效的渲染能力和真实的外观使得虚拟人类的交互体验更加自然，未来可能在社交媒体、在线教育和远程协作等场景中发挥重要作用。

📄 摘要（原文）

We present SplattingAvatar, a hybrid 3D representation of photorealistic human avatars with Gaussian Splatting embedded on a triangle mesh, which renders over 300 FPS on a modern GPU and 30 FPS on a mobile device. We disentangle the motion and appearance of a virtual human with explicit mesh geometry and implicit appearance modeling with Gaussian Splatting. The Gaussians are defined by barycentric coordinates and displacement on a triangle mesh as Phong surfaces. We extend lifted optimization to simultaneously optimize the parameters of the Gaussians while walking on the triangle mesh. SplattingAvatar is a hybrid representation of virtual humans where the mesh represents low-frequency motion and surface deformation, while the Gaussians take over the high-frequency geometry and detailed appearance. Unlike existing deformation methods that rely on an MLP-based linear blend skinning (LBS) field for motion, we control the rotation and translation of the Gaussians directly by mesh, which empowers its compatibility with various animation techniques, e.g., skeletal animation, blend shapes, and mesh editing. Trainable from monocular videos for both full-body and head avatars, SplattingAvatar shows state-of-the-art rendering quality across multiple datasets.