BakedAvatar: Baking Neural Fields for Real-Time Head Avatar Synthesis

📄 arXiv: 2311.05521v2 📥 PDF

作者: Hao-Bin Duan, Miao Wang, Jin-Chuan Shi, Xu-Chuan Chen, Yan-Pei Cao

分类: cs.GR, cs.CV

发布日期: 2023-11-09 (更新: 2023-11-28)

备注: ACM Transactions on Graphics (SIGGRAPH Asia 2023). Project Page: https://buaavrcg.github.io/BakedAvatar

期刊: ACM Trans. Graph. 42, 6, Article 225 (December 2023), 14 pages

DOI: 10.1145/3618399

💡 一句话要点

提出BakedAvatar以解决实时人头头像合成问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 实时合成 神经辐射场 人头头像 虚拟现实 增强现实 纹理烘焙 多层网格 差分光栅化

📋 核心要点

  1. 现有的NeRF方法在实时应用中面临计算开销大的挑战，限制了其广泛使用。
  2. BakedAvatar通过提取可变形的多层网格并计算依赖于表情和姿态的外观，提供了一种高效的实时合成方案。
  3. 实验结果显示，BakedAvatar在合成质量上与最先进的方法相当，同时推理时间显著降低，达到交互帧率。

📝 摘要（中文）

从视频中合成逼真的4D人头头像对于虚拟现实、增强现实、远程呈现和视频游戏应用至关重要。尽管现有的基于神经辐射场（NeRF）的方法能够实现高保真度的结果，但其计算开销限制了实时应用的使用。为了解决这一限制，本文提出了BakedAvatar，这是一种用于实时神经人头头像合成的新型表示，能够在标准多边形光栅化管道中部署。我们的方法从学习到的头部等值面中提取可变形的多层网格，并计算依赖于表情、姿态和视角的外观，这些外观可以被烘焙成静态纹理以实现高效的光栅化。实验结果表明，我们的表示生成的合成结果与其他最先进的方法具有可比的质量，同时显著减少了推理时间。

🔬 方法详解

问题定义：本文旨在解决从视频中实时合成高质量人头头像的挑战，现有的NeRF方法由于计算开销过大，无法满足实时应用的需求。

核心思路：BakedAvatar通过提取可变形的多层网格，并将表情、姿态和视角依赖的外观烘焙为静态纹理，从而实现高效的实时合成。这样的设计使得在标准光栅化管道中能够快速渲染。

技术框架：整体架构包括三个主要阶段：首先学习连续的变形、流形和辐射场；其次提取分层网格和纹理；最后通过差分光栅化微调纹理细节。

关键创新：BakedAvatar的核心创新在于其将动态外观信息烘焙为静态纹理，显著降低了实时合成的计算负担，与传统的NeRF方法相比，能够在保持高质量的同时实现更快的推理速度。

关键设计：在设计中，采用了多层网格结构以捕捉复杂的头部形状，并使用特定的损失函数来优化纹理细节。此外，差分光栅化技术被引入以提高纹理的精细度和真实感。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，BakedAvatar在合成质量上与其他最先进的方法相当，同时推理时间显著降低，达到交互帧率。具体而言，BakedAvatar的推理速度比传统NeRF方法快了数倍，能够在实时应用中提供流畅的用户体验。

🎯 应用场景

BakedAvatar的研究成果具有广泛的应用潜力，特别是在虚拟现实和增强现实领域，可以用于创建高质量的虚拟角色和实时交互体验。此外，该技术也可应用于远程会议、游戏开发和社交媒体等场景，提升用户体验和交互性。

📄 摘要（原文）

Synthesizing photorealistic 4D human head avatars from videos is essential for VR/AR, telepresence, and video game applications. Although existing Neural Radiance Fields (NeRF)-based methods achieve high-fidelity results, the computational expense limits their use in real-time applications. To overcome this limitation, we introduce BakedAvatar, a novel representation for real-time neural head avatar synthesis, deployable in a standard polygon rasterization pipeline. Our approach extracts deformable multi-layer meshes from learned isosurfaces of the head and computes expression-, pose-, and view-dependent appearances that can be baked into static textures for efficient rasterization. We thus propose a three-stage pipeline for neural head avatar synthesis, which includes learning continuous deformation, manifold, and radiance fields, extracting layered meshes and textures, and fine-tuning texture details with differential rasterization. Experimental results demonstrate that our representation generates synthesis results of comparable quality to other state-of-the-art methods while significantly reducing the inference time required. We further showcase various head avatar synthesis results from monocular videos, including view synthesis, face reenactment, expression editing, and pose editing, all at interactive frame rates.