Animating NeRFs from Texture Space: A Framework for Pose-Dependent Rendering of Human Performances

作者: Paul Knoll, Wieland Morgenstern, Anna Hilsmann, Peter Eisert

分类: cs.CV

发布日期: 2023-11-06

期刊: Proceedings of the 19th International Joint Conference on Computer Vision, Imaging and Computer Graphics Theory and Applications - Volume 4: VISAPP; ISBN 978-989-758-679-8; ISSN 2184-4321, SciTePress, pages 404-413, 2024

DOI: 10.5220/0012373800003660

💡 一句话要点

提出基于NeRF的框架以解决动态人类表演渲染问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱六：视频提取与匹配 (Video Extraction)

关键词: 动态人类表演 神经辐射场 姿态依赖渲染 3D模型生成 计算机视觉 虚拟现实 高质量渲染

📋 核心要点

1. 现有方法在动态人类表演的可控合成上存在挑战，难以实现高质量的渲染效果。
2. 论文提出了一种基于NeRF的框架，通过围绕SMPL网格扭曲辐射场，实现姿态依赖的渲染。
3. 实验结果显示，该方法在新视角和新姿态合成上显著提升了渲染质量，效果令人满意。

📝 摘要（中文）

从多视角RGB视频创建高质量可控的3D人类模型是一项重大挑战。神经辐射场（NeRF）在静态和动态场景的重建及自由视点渲染方面表现出色。本文提出了一种新颖的NeRF框架，用于人类表演的姿态依赖渲染。通过围绕SMPL身体网格扭曲辐射场，创建了一种新的表面对齐表示。该表示可以通过提供给NeRF的骨骼关节参数进行动画化，结合视点实现姿态依赖的外观。实验表明，该方法在新视角和新姿态合成上实现了高质量渲染。

🔬 方法详解

问题定义：本文旨在解决从多视角视频生成高质量可控3D人类模型的挑战，现有方法在动态表演的姿态依赖渲染上存在不足。

核心思路：通过围绕SMPL身体网格扭曲辐射场，创建新的表面对齐表示，并结合骨骼关节参数和视点信息，实现动态人类表演的动画化。

技术框架：整体架构包括辐射场的扭曲、SMPL网格的表面对齐、UV坐标映射和距离计算等模块，确保高效的姿态依赖渲染。

关键创新：引入了一种新的重映射过程，解决了映射模糊和视觉变化问题，从而提高了学习效率和渲染质量。

关键设计：在技术细节上，采用了特定的UV坐标映射和距离计算方法，以优化渲染效果，并设计了适应性损失函数以提升模型的学习能力。

🖼️ 关键图片

📊 实验亮点

实验结果表明，所提出的方法在新视角和新姿态合成上实现了显著的渲染质量提升，相较于基线方法，渲染效果更为真实，且在多个测试场景中均表现出色。

🎯 应用场景

该研究的潜在应用领域包括虚拟现实、游戏开发和电影制作等，能够为动态人类表演的可视化提供高质量的解决方案，具有重要的实际价值和未来影响。

📄 摘要（原文）

Creating high-quality controllable 3D human models from multi-view RGB videos poses a significant challenge. Neural radiance fields (NeRFs) have demonstrated remarkable quality in reconstructing and free-viewpoint rendering of static as well as dynamic scenes. The extension to a controllable synthesis of dynamic human performances poses an exciting research question. In this paper, we introduce a novel NeRF-based framework for pose-dependent rendering of human performances. In our approach, the radiance field is warped around an SMPL body mesh, thereby creating a new surface-aligned representation. Our representation can be animated through skeletal joint parameters that are provided to the NeRF in addition to the viewpoint for pose dependent appearances. To achieve this, our representation includes the corresponding 2D UV coordinates on the mesh texture map and the distance between the query point and the mesh. To enable efficient learning despite mapping ambiguities and random visual variations, we introduce a novel remapping process that refines the mapped coordinates. Experiments demonstrate that our approach results in high-quality renderings for novel-view and novel-pose synthesis.