PGAHum: Prior-Guided Geometry and Appearance Learning for High-Fidelity Animatable Human Reconstruction

📄 arXiv: 2404.13862v1 📥 PDF

作者: Hao Wang, Qingshan Xu, Hongyuan Chen, Rui Ma

分类: cs.CV

发布日期: 2024-04-22

💡 一句话要点

提出PGAHum以解决高保真可动画人类重建问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱六：视频提取与匹配 (Video Extraction)

关键词: 3D重建 人类姿态 隐式几何 神经渲染 先验学习 动画合成 计算机视觉

📋 核心要点

  1. 现有方法在重建详细表面几何和合成逼真视角方面仍面临挑战，尤其是在处理动态人类姿态时。
  2. 本文提出的PGAHum框架通过三大模块利用3D人类先验，实现高质量几何重建和视角合成。
  3. 实验结果表明，PGAHum在多个数据集上优于现有方法，验证了每个模块在几何和外观学习中的有效性。

📝 摘要（中文）

近年来，隐式几何表示学习和神经渲染技术在从稀疏视频输入中重建3D穿衣人类方面取得了显著进展。然而，重建详细的表面几何形状以及合成逼真的新视角仍然具有挑战性。本文提出了PGAHum，一个基于先验指导的几何和外观学习框架，旨在实现高保真的可动画人类重建。我们在PGAHum的三个关键模块中充分利用3D人类先验，以实现高质量的几何重建和逼真的视角合成。首先，提出了一种基于先验的隐式几何表示，利用三平面网络预测的增量SDF和基于SMPL模型的基础SDF，分离建模表面细节和体型。其次，引入了一种新颖的先验指导采样策略，充分利用人类姿态和身体的先验信息，以在体表内或附近采样查询点。最后，提出了一种迭代反向变形策略，以逐步找到观察空间中查询点的对应关系。

🔬 方法详解

问题定义：本文旨在解决从稀疏视频输入中高保真重建可动画人类的难题，现有方法在细节重建和视角合成方面存在不足。

核心思路：PGAHum通过引入3D人类先验信息，设计了多个模块以提高几何和外观的重建质量，避免在空白3D空间中进行无效学习。

技术框架：PGAHum框架包括三个主要模块：基于先验的隐式几何表示、先验指导的采样策略和迭代反向变形策略，整体流程通过这些模块协同工作以实现高保真重建。

关键创新：最重要的创新在于引入了基于先验的隐式几何表示和迭代反向变形策略，这与传统方法在处理动态姿态时的静态假设形成鲜明对比。

关键设计：在设计中，使用了三平面网络来预测增量SDF，并基于SMPL模型进行基础SDF的推导；同时，采用了皮肤权重预测模型以实现迭代反向LBS变形。具体的损失函数和网络结构细节在实验中进行了优化。

📊 实验亮点

实验结果显示，PGAHum在多个数据集上表现优越，相较于基线方法，几何重建精度提高了XX%，外观合成质量提升了YY%。这些结果通过定量和定性分析得到了验证，充分展示了框架的有效性。

🎯 应用场景

该研究具有广泛的应用潜力，尤其是在虚拟现实、游戏开发和动画制作等领域。通过实现高保真的人类重建，PGAHum能够提升用户体验，推动人机交互的进步。此外，该技术在医学成像和运动分析等领域也可能具有重要价值。

📄 摘要（原文）

Recent techniques on implicit geometry representation learning and neural rendering have shown promising results for 3D clothed human reconstruction from sparse video inputs. However, it is still challenging to reconstruct detailed surface geometry and even more difficult to synthesize photorealistic novel views with animated human poses. In this work, we introduce PGAHum, a prior-guided geometry and appearance learning framework for high-fidelity animatable human reconstruction. We thoroughly exploit 3D human priors in three key modules of PGAHum to achieve high-quality geometry reconstruction with intricate details and photorealistic view synthesis on unseen poses. First, a prior-based implicit geometry representation of 3D human, which contains a delta SDF predicted by a tri-plane network and a base SDF derived from the prior SMPL model, is proposed to model the surface details and the body shape in a disentangled manner. Second, we introduce a novel prior-guided sampling strategy that fully leverages the prior information of the human pose and body to sample the query points within or near the body surface. By avoiding unnecessary learning in the empty 3D space, the neural rendering can recover more appearance details. Last, we propose a novel iterative backward deformation strategy to progressively find the correspondence for the query point in observation space. A skinning weights prediction model is learned based on the prior provided by the SMPL model to achieve the iterative backward LBS deformation. Extensive quantitative and qualitative comparisons on various datasets are conducted and the results demonstrate the superiority of our framework. Ablation studies also verify the effectiveness of each scheme for geometry and appearance learning.