GoMAvatar: Efficient Animatable Human Modeling from Monocular Video Using Gaussians-on-Mesh

📄 arXiv: 2404.07991v1 📥 PDF

作者: Jing Wen, Xiaoming Zhao, Zhongzheng Ren, Alexander G. Schwing, Shenlong Wang

分类: cs.CV

发布日期: 2024-04-11

备注: CVPR 2024; project page: https://wenj.github.io/GoMAvatar/

💡 一句话要点

提出GoMAvatar以解决单目视频人类建模效率低的问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 单目视频建模 高效渲染 数字化身 高斯点云 可变形网格 实时计算 人类动作捕捉

📋 核心要点

  1. 现有的单目人类建模方法在效率和渲染质量上存在不足，难以满足实时应用需求。
  2. GoMAvatar通过引入Gaussians-on-Mesh表示，结合高效的高斯点云渲染与可变形网格建模，提供了一种新的解决方案。
  3. 实验结果显示，GoMAvatar在渲染质量上与现有算法持平或超越，同时在计算效率上达到43 FPS，内存占用仅为3.63 MB。

📝 摘要（中文）

我们提出GoMAvatar，一种新颖的方法用于实时、高效且高质量的可动画人类建模。GoMAvatar以单个单目视频为输入，创建一个能够在新姿势中重新关节化并从新视角实时渲染的数字化身，同时与基于光栅化的图形管线无缝集成。我们的方法的核心是Gaussians-on-Mesh表示，这是一种混合3D模型，结合了高质量和快速渲染的高斯点云与可变形网格的几何建模和兼容性。我们在ZJU-MoCap数据集和各种YouTube视频上评估了GoMAvatar，结果表明其在渲染质量上与当前的单目人类建模算法相匹配或超越，并在计算效率上显著优于它们（43 FPS），同时在内存使用上也表现出色（每个主题3.63 MB）。

🔬 方法详解

问题定义：本论文旨在解决现有单目视频人类建模方法在实时性和内存效率上的不足，尤其是在高质量渲染与快速计算之间的矛盾。

核心思路：GoMAvatar的核心思路是采用Gaussians-on-Mesh表示，利用高斯点云的快速渲染能力与可变形网格的几何建模优势，构建出高效的可动画人类模型。

技术框架：整体架构包括输入单目视频、生成高斯点云、构建可变形网格以及实时渲染模块。每个模块协同工作，确保模型的高效性与质量。

关键创新：Gaussians-on-Mesh表示是本研究的主要创新点，它通过将高斯点云与网格结合，显著提升了渲染速度和质量，区别于传统的单一方法。

关键设计：在设计中，采用了特定的损失函数来优化模型的渲染质量，并在网络结构上进行了优化，以确保在保持高效性的同时，能够处理复杂的人类动作。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，GoMAvatar在渲染质量上与现有单目人类建模算法相匹配或超越，同时在计算效率上达到43 FPS，内存占用仅为3.63 MB，显示出显著的性能提升，尤其适合实时应用场景。

🎯 应用场景

GoMAvatar的潜在应用领域包括游戏开发、虚拟现实、动画制作等，能够为用户提供更为真实和互动的数字化身体验。其高效的建模和渲染能力也为实时人类动作捕捉和再现提供了新的可能性，具有广泛的实际价值和未来影响。

📄 摘要（原文）

We introduce GoMAvatar, a novel approach for real-time, memory-efficient, high-quality animatable human modeling. GoMAvatar takes as input a single monocular video to create a digital avatar capable of re-articulation in new poses and real-time rendering from novel viewpoints, while seamlessly integrating with rasterization-based graphics pipelines. Central to our method is the Gaussians-on-Mesh representation, a hybrid 3D model combining rendering quality and speed of Gaussian splatting with geometry modeling and compatibility of deformable meshes. We assess GoMAvatar on ZJU-MoCap data and various YouTube videos. GoMAvatar matches or surpasses current monocular human modeling algorithms in rendering quality and significantly outperforms them in computational efficiency (43 FPS) while being memory-efficient (3.63 MB per subject).