SplatArmor: Articulated Gaussian splatting for animatable humans from monocular RGB videos

📄 arXiv: 2311.10812v1 📥 PDF

作者: Rohit Jena, Ganesh Subramanian Iyer, Siddharth Choudhary, Brandon Smith, Pratik Chaudhari, James Gee

分类: cs.CV, cs.GR, cs.LG

发布日期: 2023-11-17

💡 一句话要点

提出SplatArmor以解决单目RGB视频中的人类动画建模问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱六：视频提取与匹配 (Video Extraction)

关键词: 人类模型恢复 动画建模 3D高斯 单目视频 神经渲染 光栅化技术 姿势依赖性 虚拟现实

📋 核心要点

  1. 现有方法在从单目RGB视频中恢复可动画的人类模型时面临细节不足和关节运动不准确的问题。
  2. SplatArmor通过将3D高斯与参数化身体模型结合，利用SE(3)场捕捉姿势依赖性，提供了一种新的建模方式。
  3. 在ZJU MoCap和People Snapshot数据集上的实验结果表明，该方法在可控人类合成方面表现出色，效果显著提升。

📝 摘要（中文）

我们提出了SplatArmor，这是一种通过将参数化身体模型与3D高斯结合来恢复详细且可动画的人类模型的新方法。该方法在规范空间中将人类表示为一组3D高斯，其关节运动通过将底层SMPL几何体的蒙皮扩展到规范空间中的任意位置来定义。为了考虑姿势依赖效应，我们引入了一个SE(3)场，以捕捉高斯的位置信息和各向异性。此外，我们提出使用神经颜色场提供颜色正则化和3D监督，以精确定位这些高斯。我们展示了高斯点云为神经渲染方法提供了一种有趣的替代方案，利用光栅化原语而不面临通常在此类方法中遇到的非可微分性和优化挑战。

🔬 方法详解

问题定义：本论文旨在解决从单目RGB视频中恢复详细且可动画的人类模型的挑战。现有方法在细节和关节运动的准确性上存在不足，难以实现高质量的人类合成。

核心思路：SplatArmor的核心思路是将参数化身体模型与3D高斯结合，通过在规范空间中定义关节运动，克服了传统方法的局限性。引入SE(3)场以捕捉高斯的位置信息和各向异性，从而实现更自然的动画效果。

技术框架：整体架构包括三个主要模块：首先是将人体表示为3D高斯的过程；其次是通过SE(3)场实现姿势依赖性；最后是利用神经颜色场进行颜色正则化和3D监督。

关键创新：本研究的关键创新在于利用高斯点云替代传统的神经渲染方法，避免了非可微分性和优化挑战，同时通过光栅化原语实现了前向蒙皮，消除了逆向蒙皮和变形带来的模糊性。

关键设计：在设计中，采用了特定的损失函数来优化高斯的定位，并通过神经网络结构实现颜色的正则化。关键参数设置确保了高斯的各向异性和位置的准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在ZJU MoCap和People Snapshot数据集上的实验结果显示，SplatArmor在可控人类合成方面表现优异，相较于基线方法，模型的细节和动画流畅度显著提升，具体性能数据尚未披露。

🎯 应用场景

该研究在动画制作、虚拟现实和游戏开发等领域具有广泛的应用潜力。通过提供高质量的可动画人类模型，SplatArmor能够提升虚拟角色的表现力和交互性，推动相关技术的发展和应用。

📄 摘要（原文）

We propose SplatArmor, a novel approach for recovering detailed and animatable human models by `armoring' a parameterized body model with 3D Gaussians. Our approach represents the human as a set of 3D Gaussians within a canonical space, whose articulation is defined by extending the skinning of the underlying SMPL geometry to arbitrary locations in the canonical space. To account for pose-dependent effects, we introduce a SE(3) field, which allows us to capture both the location and anisotropy of the Gaussians. Furthermore, we propose the use of a neural color field to provide color regularization and 3D supervision for the precise positioning of these Gaussians. We show that Gaussian splatting provides an interesting alternative to neural rendering based methods by leverging a rasterization primitive without facing any of the non-differentiability and optimization challenges typically faced in such approaches. The rasterization paradigms allows us to leverage forward skinning, and does not suffer from the ambiguities associated with inverse skinning and warping. We show compelling results on the ZJU MoCap and People Snapshot datasets, which underscore the effectiveness of our method for controllable human synthesis.