Animatable 3D Gaussian: Fast and High-Quality Reconstruction of Multiple Human Avatars

📄 arXiv: 2311.16482v3 📥 PDF

作者: Yang Liu, Xiang Huang, Minghan Qin, Qinwei Lin, Haoqian Wang

分类: cs.CV, cs.GR

发布日期: 2023-11-27 (更新: 2024-07-28)

💡 一句话要点

提出Animatable 3D Gaussian以解决多人体素重建问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 3D重建 动态场景 高斯模型 虚拟形象 多头哈希编码器 环境遮蔽 姿态合成

📋 核心要点

  1. 现有方法在多人体场景中重建高质量虚拟形象时，训练和渲染成本高，且难以处理复杂阴影。
  2. 本文提出Animatable 3D Gaussian，通过建模动态人类场景中的3D高斯和骨架，显著降低训练和渲染的资源消耗。
  3. 实验结果表明，本文方法在新视角和新姿态合成任务中，重建质量优于现有方法，并且训练和渲染速度大幅提升。

📝 摘要（中文）

神经辐射场能够重建高质量的人体虚拟形象，但训练和渲染成本高，不适合复杂阴影的多人体场景。为降低消耗，本文提出Animatable 3D Gaussian，通过输入图像和姿态学习人体虚拟形象。我们将3D高斯扩展到动态人类场景，建模一组皮肤化的3D高斯及其在标准空间中的骨架，并根据输入姿态将3D高斯变形到姿态空间。引入多头哈希编码器处理姿态依赖的形状和外观，以及时间依赖的环境遮蔽模块，以实现高质量重建。我们的方案在新视角合成和新姿态合成任务中，重建质量优于InstantAvatar，训练时间减少至1/60，GPU内存减少至1/4，渲染速度提升至7倍。该方法可轻松扩展至多人体场景，并在仅25秒的训练时间内实现十人场景的可比新视角合成结果。

🔬 方法详解

问题定义：本文旨在解决现有神经辐射场在多人体场景中重建高质量虚拟形象时的高成本和复杂阴影处理问题。现有方法在训练和渲染时消耗大量资源，难以适应动态场景。

核心思路：我们提出Animatable 3D Gaussian，通过建模动态场景中的一组皮肤化3D高斯和对应的骨架，利用输入的姿态信息对3D高斯进行变形，从而实现高效的虚拟形象重建。

技术框架：整体架构包括输入图像和姿态的处理模块、多头哈希编码器用于姿态依赖的形状和外观建模，以及时间依赖的环境遮蔽模块，确保在复杂动态场景中实现高质量重建。

关键创新：最重要的创新在于将3D高斯扩展到动态人类场景，并引入多头哈希编码器和时间依赖的环境遮蔽模块，这使得我们的模型在处理复杂阴影和动态运动时表现优异。

关键设计：我们在模型中设置了多头哈希编码器以处理姿态变化，采用特定的损失函数以优化重建质量，同时在网络结构上设计了适应动态场景的模块，确保高效的训练和渲染。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，Animatable 3D Gaussian在新视角合成和新姿态合成任务中，重建质量优于InstantAvatar，训练时间仅为其1/60，GPU内存减少至1/4，渲染速度提升至7倍。此外，在十人场景中，仅需25秒的训练时间即可实现可比的新视角合成结果。

🎯 应用场景

该研究的潜在应用领域包括虚拟现实、游戏开发、动画制作等，能够为多人体场景的实时渲染提供高效解决方案。其高质量的重建能力和快速的训练时间将推动相关领域的发展，提升用户体验和交互性。

📄 摘要（原文）

Neural radiance fields are capable of reconstructing high-quality drivable human avatars but are expensive to train and render and not suitable for multi-human scenes with complex shadows. To reduce consumption, we propose Animatable 3D Gaussian, which learns human avatars from input images and poses. We extend 3D Gaussians to dynamic human scenes by modeling a set of skinned 3D Gaussians and a corresponding skeleton in canonical space and deforming 3D Gaussians to posed space according to the input poses. We introduce a multi-head hash encoder for pose-dependent shape and appearance and a time-dependent ambient occlusion module to achieve high-quality reconstructions in scenes containing complex motions and dynamic shadows. On both novel view synthesis and novel pose synthesis tasks, our method achieves higher reconstruction quality than InstantAvatar with less training time (1/60), less GPU memory (1/4), and faster rendering speed (7x). Our method can be easily extended to multi-human scenes and achieve comparable novel view synthesis results on a scene with ten people in only 25 seconds of training.