Anatomically Constrained Implicit Face Models

📄 arXiv: 2312.07538v1 📥 PDF

作者: Prashanth Chandran, Gaspard Zoss

分类: cs.GR, cs.CV

发布日期: 2023-12-12

💡 一句话要点

提出解剖约束隐式人脸模型，用于高性能人脸建模与动画

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 隐式神经表示 人脸建模 解剖约束 面部动画 表演捕捉

📋 核心要点

  1. 传统解剖人脸模型在面部表演捕捉和重定向中表现出色，但评估速度慢且构建需要大量数据。
  2. 提出解剖隐式人脸模型，利用隐式神经表示联合学习面部解剖结构和皮肤表面，实现高保真建模。
  3. 实验证明该方法在形状拟合、形状编辑和表演重定向等任务中有效，可作为传统blendshape模型的替代方案。

📝 摘要（中文）

本文提出了一种新颖的基于坐标的隐式神经表示方法，用于学习解剖约束的人脸模型。针对面部表演捕捉和表演重定向中广泛使用的、但评估速度慢且需要大量数据构建的传统解剖模型，我们提出了解剖隐式人脸模型。该模型由隐式神经网络集合组成，能够高保真地联合学习面部解剖结构和皮肤表面，并可直接替代传统的blendshape模型。给定演员的任意皮肤表面网格以及带有估计的颅骨和下颌骨的 нейтральный 形态，我们的方法可以恢复密集的解剖子结构，从而约束面部表面上的每个点。我们通过形状拟合、形状编辑和表演重定向等任务，验证了该方法的有效性。

🔬 方法详解

问题定义：现有基于解剖结构的人脸模型，如blendshape模型，虽然在面部动画和表演捕捉领域应用广泛，但存在两个主要痛点：一是模型评估速度较慢，难以满足实时性要求；二是构建这些模型通常需要大量的演员特定数据，数据采集成本高昂。

核心思路：本文的核心思路是利用隐式神经表示（Implicit Neural Representations）的强大建模能力，将人脸的解剖结构和皮肤表面表示为连续的函数。通过训练一个神经网络集合，使其能够同时学习面部的解剖约束和皮肤表面的细节，从而构建一个紧凑、高效且具有解剖意义的人脸模型。这种方法避免了传统blendshape模型中对大量离散blendshape的依赖，从而提高了评估速度和数据利用率。

技术框架：该方法的核心是一个解剖隐式人脸模型，它由多个隐式神经网络组成。整体流程如下：1) 输入：给定演员的皮肤表面网格以及带有估计的颅骨和下颌骨的 нейтральный 形态。2) 解剖结构建模：利用神经网络学习颅骨和下颌骨对皮肤表面的解剖约束。3) 皮肤表面建模：利用神经网络学习皮肤表面的几何细节。4) 联合优化：通过联合优化解剖结构和皮肤表面，得到一个具有解剖意义且高保真的人脸模型。

关键创新：该方法最重要的创新点在于将隐式神经表示应用于解剖约束的人脸建模。与传统的基于blendshape的模型相比，该方法能够以更紧凑、更高效的方式表示人脸的解剖结构和皮肤表面。此外，该方法只需要较少的演员特定数据即可构建模型，降低了数据采集成本。

关键设计：在网络结构方面，使用了多个MLP（多层感知机）来分别建模颅骨、下颌骨和皮肤表面。损失函数的设计至关重要，包括：1) 表面重建损失：确保模型能够准确地重建输入的皮肤表面网格。2) 解剖约束损失：确保模型学习到的解剖结构与颅骨和下颌骨的位置关系一致。3) 正则化损失：防止过拟合，提高模型的泛化能力。具体的参数设置和网络结构细节在论文中有更详细的描述。

📊 实验亮点

实验结果表明，该方法在形状拟合、形状编辑和表演重定向等任务中取得了良好的效果。与传统的blendshape模型相比，该方法能够以更紧凑的模型尺寸实现更高的重建精度和更快的评估速度。此外，该方法只需要较少的演员特定数据即可构建模型，降低了数据采集成本。具体的性能数据和对比基线在论文中有详细的展示。

🎯 应用场景

该研究成果可广泛应用于虚拟现实、增强现实、游戏开发、电影制作等领域。例如，可以用于创建逼真的虚拟角色，实现高质量的面部动画和表演捕捉，以及进行个性化的面部编辑和重定向。此外，该方法还可以应用于医学领域，例如用于人脸重建和整形手术模拟。

📄 摘要（原文）

Coordinate based implicit neural representations have gained rapid popularity in recent years as they have been successfully used in image, geometry and scene modeling tasks. In this work, we present a novel use case for such implicit representations in the context of learning anatomically constrained face models. Actor specific anatomically constrained face models are the state of the art in both facial performance capture and performance retargeting. Despite their practical success, these anatomical models are slow to evaluate and often require extensive data capture to be built. We propose the anatomical implicit face model; an ensemble of implicit neural networks that jointly learn to model the facial anatomy and the skin surface with high-fidelity, and can readily be used as a drop in replacement to conventional blendshape models. Given an arbitrary set of skin surface meshes of an actor and only a neutral shape with estimated skull and jaw bones, our method can recover a dense anatomical substructure which constrains every point on the facial surface. We demonstrate the usefulness of our approach in several tasks ranging from shape fitting, shape editing, and performance retargeting.