MonoGaussianAvatar: Monocular Gaussian Point-based Head Avatar

📄 arXiv: 2312.04558v1 📥 PDF

作者: Yufan Chen, Lizhen Wang, Qijing Li, Hongjiang Xiao, Shengping Zhang, Hongxun Yao, Yebin Liu

分类: cs.CV

发布日期: 2023-12-07

备注: The link to our projectpage is https://yufan1012.github.io/MonoGaussianAvatar

💡 一句话要点

提出MonoGaussianAvatar，利用单目视频重建并驱动逼真头部Avatar。

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 头部Avatar 3D高斯点 高斯形变场 单目视频重建 人脸动画

📋 核心要点

  1. 现有3DMM方法拓扑固定，点云方法训练负担重，神经隐式表示形变灵活性和渲染效率不足。
  2. MonoGaussianAvatar利用3D高斯点表示和高斯形变场，从单目视频学习显式头部Avatar。
  3. 实验表明，该方法在头部Avatar重建和驱动方面达到了目前最先进的性能。

📝 摘要（中文）

本文提出了一种名为MonoGaussianAvatar的全新方法，用于从单目人像视频序列中重建并驱动照片级逼真的头部Avatar。现有头部Avatar技术，如3D形变模型(3DMM)、点云和神经隐式表示，各有局限性。3DMM受限于固定拓扑，点云方法因点数量庞大而训练负担重，神经隐式表示则在形变灵活性和渲染效率方面存在不足。为了解决这些问题，MonoGaussianAvatar利用3D高斯点表示，并结合高斯形变场，从单目人像视频中学习显式的头部Avatar。该方法使用具有可调整形状的高斯点定义头部Avatar，实现灵活的拓扑结构。这些点通过高斯形变场运动，与目标姿态和表情对齐，从而实现高效的形变。此外，高斯点具有可控的形状、大小、颜色和不透明度，结合高斯溅射，实现了高效的训练和渲染。实验结果表明，该方法优于现有技术，达到了最先进的性能。

🔬 方法详解

问题定义：现有头部Avatar重建方法，如3DMM、点云和神经隐式表示，分别存在拓扑结构固定、训练负担过重以及形变灵活性和渲染效率不足的问题。论文旨在解决从单目视频高效、灵活地重建和驱动逼真头部Avatar的难题。

核心思路：论文的核心思路是利用3D高斯点表示头部Avatar，并使用高斯形变场来控制高斯点的运动和形变。高斯点具有可调整的形状，能够灵活地表示头部拓扑结构，而高斯形变场则能够高效地实现头部姿态和表情的驱动。

技术框架：MonoGaussianAvatar的整体框架包括以下几个主要模块：1) 从单目视频中提取人脸特征；2) 初始化3D高斯点云；3) 使用高斯形变场对高斯点进行形变，使其与目标姿态和表情对齐；4) 使用高斯溅射进行渲染，生成最终的头部Avatar图像。

关键创新：该方法最重要的创新点在于将3D高斯点表示和高斯形变场相结合，用于头部Avatar的重建和驱动。与传统的点云方法相比，高斯点具有可调整的形状，能够更好地表示头部拓扑结构。与神经隐式表示相比，高斯点表示具有更高的渲染效率和形变灵活性。

关键设计：论文的关键设计包括：1) 使用可学习的参数来控制高斯点的形状、大小、颜色和不透明度；2) 设计了一种基于高斯函数的形变场，能够平滑地控制高斯点的运动和形变；3) 使用了一种高效的高斯溅射渲染算法，能够快速地生成高质量的头部Avatar图像。损失函数包括重建损失、正则化损失等，用于优化高斯点和形变场的参数。

📊 实验亮点

实验结果表明，MonoGaussianAvatar在头部Avatar重建和驱动方面取得了显著的性能提升，达到了目前最先进的水平。与现有方法相比，该方法能够生成更逼真、更自然的头部Avatar图像，并且具有更高的渲染效率和形变灵活性。具体性能数据在论文中有详细展示，例如在特定数据集上的指标提升。

🎯 应用场景

MonoGaussianAvatar技术可广泛应用于虚拟现实、增强现实、视频会议、游戏等领域。该技术能够创建逼真的虚拟化身，提升用户在虚拟环境中的沉浸感和交互体验。未来，该技术有望应用于个性化教育、远程医疗等领域，实现更自然、高效的人机交互。

📄 摘要（原文）

The ability to animate photo-realistic head avatars reconstructed from monocular portrait video sequences represents a crucial step in bridging the gap between the virtual and real worlds. Recent advancements in head avatar techniques, including explicit 3D morphable meshes (3DMM), point clouds, and neural implicit representation have been exploited for this ongoing research. However, 3DMM-based methods are constrained by their fixed topologies, point-based approaches suffer from a heavy training burden due to the extensive quantity of points involved, and the last ones suffer from limitations in deformation flexibility and rendering efficiency. In response to these challenges, we propose MonoGaussianAvatar (Monocular Gaussian Point-based Head Avatar), a novel approach that harnesses 3D Gaussian point representation coupled with a Gaussian deformation field to learn explicit head avatars from monocular portrait videos. We define our head avatars with Gaussian points characterized by adaptable shapes, enabling flexible topology. These points exhibit movement with a Gaussian deformation field in alignment with the target pose and expression of a person, facilitating efficient deformation. Additionally, the Gaussian points have controllable shape, size, color, and opacity combined with Gaussian splatting, allowing for efficient training and rendering. Experiments demonstrate the superior performance of our method, which achieves state-of-the-art results among previous methods.