DPHMs: Diffusion Parametric Head Models for Depth-based Tracking

📄 arXiv: 2312.01068v2 📥 PDF

作者: Jiapeng Tang, Angela Dai, Yinyu Nie, Lev Markhasin, Justus Thies, Matthias Niessner

分类: cs.CV

发布日期: 2023-12-02 (更新: 2024-04-08)

备注: CVPR 2024; homepage: https://tangjiapeng.github.io/projects/DPHMs/

💡 一句话要点

提出基于扩散参数化头部模型的深度跟踪方法，提升单目深度序列头部重建与跟踪的鲁棒性。

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 头部重建 面部跟踪 扩散模型 参数化模型 深度学习

📋 核心要点

  1. 现有体素头部模型在单目深度序列下，易受噪声和遮挡影响，导致头部重建和跟踪效果不佳。
  2. 利用潜在扩散模型学习头部形状的先验知识，约束身份和表情代码，从而正则化头部重建和跟踪过程。
  3. 实验结果表明，该方法在头部身份重建和表情跟踪方面优于现有技术，尤其是在复杂表情和快速运动场景下。

📝 摘要（中文）

本文提出了一种扩散参数化头部模型（DPHMs），该生成模型能够从单目深度序列中实现鲁棒的体素头部重建和跟踪。尽管诸如NPHMs等最新的体素头部模型在表示高保真头部几何结构方面表现出色，但从真实世界的单视角深度序列中跟踪和重建头部仍然极具挑战性，因为对部分和噪声观测的拟合受到约束不足。为了应对这些挑战，我们提出了一种基于潜在扩散的先验，以正则化体素头部重建和跟踪。这种基于先验的正则化器有效地约束了身份和表情代码，使其位于表示合理头部形状的底层潜在流形上。为了评估基于扩散的先验的有效性，我们收集了一个包含各种复杂面部表情运动和快速过渡的单目Kinect序列数据集。我们将我们的方法与最先进的跟踪方法进行比较，并证明了改进的头部身份重建以及鲁棒的表情跟踪。

🔬 方法详解

问题定义：论文旨在解决从单目深度序列中进行鲁棒的头部重建和跟踪问题。现有的体素头部模型，如NPHMs，虽然能够较好地表示头部几何结构，但在实际应用中，由于单目深度序列存在噪声、遮挡以及视角限制等问题，直接拟合这些模型会导致重建结果不准确，跟踪效果不佳。现有的方法缺乏有效的正则化手段，容易陷入局部最优解，导致身份信息丢失和表情跟踪不稳定。

核心思路：论文的核心思路是利用扩散模型学习到的头部形状先验知识来约束头部重建和跟踪过程。扩散模型能够生成高质量的头部形状，并且可以学习到头部形状的潜在流形。通过将身份和表情代码约束在这个潜在流形上，可以有效地避免重建结果偏离真实头部形状，从而提高重建和跟踪的鲁棒性。

技术框架：DPHMs的整体框架包含以下几个主要模块：1）深度图输入：接收单目深度序列作为输入。2）参数化头部模型：使用参数化的头部模型（如NPHMs）表示头部形状。3）扩散先验：利用扩散模型学习头部形状的潜在空间，并作为先验知识。4）优化过程：通过优化身份代码、表情代码等参数，将参数化头部模型拟合到输入的深度图，同时利用扩散先验进行正则化。

关键创新：论文的关键创新在于将扩散模型引入到参数化头部模型的重建和跟踪过程中，利用扩散模型学习到的头部形状先验知识来约束解空间。与传统的正则化方法相比，扩散先验能够更好地捕捉头部形状的复杂性和多样性，从而提高重建和跟踪的准确性和鲁棒性。

关键设计：在优化过程中，论文使用了以下关键设计：1）损失函数：包括深度图重建损失、扩散先验损失等。深度图重建损失用于保证重建结果与输入深度图的一致性，扩散先验损失用于约束身份和表情代码位于扩散模型学习到的潜在流形上。2）优化算法：使用Adam等优化算法来最小化损失函数，从而得到最优的身份代码和表情代码。3）扩散模型训练：使用大量的头部扫描数据训练扩散模型，使其能够学习到高质量的头部形状先验知识。

📊 实验亮点

实验结果表明，DPHMs在头部身份重建和表情跟踪方面显著优于现有方法。在作者收集的单目Kinect数据集上，DPHMs能够更准确地重建头部形状，并能够鲁棒地跟踪复杂的面部表情运动和快速过渡。与state-of-the-art方法相比，DPHMs在重建精度和跟踪稳定性方面均有明显提升，尤其是在噪声和遮挡严重的情况下。

🎯 应用场景

该研究成果可应用于虚拟现实、增强现实、人机交互、动画制作等领域。例如，在VR/AR应用中，可以利用该方法实现更逼真的虚拟化身创建和实时面部表情跟踪，提升用户体验。在人机交互领域，可以用于实现更自然和流畅的面部表情识别和理解，从而改善人机交互的效率和舒适度。此外，该技术还可用于安全监控和身份识别等领域。

📄 摘要（原文）

We introduce Diffusion Parametric Head Models (DPHMs), a generative model that enables robust volumetric head reconstruction and tracking from monocular depth sequences. While recent volumetric head models, such as NPHMs, can now excel in representing high-fidelity head geometries, tracking and reconstructing heads from real-world single-view depth sequences remains very challenging, as the fitting to partial and noisy observations is underconstrained. To tackle these challenges, we propose a latent diffusion-based prior to regularize volumetric head reconstruction and tracking. This prior-based regularizer effectively constrains the identity and expression codes to lie on the underlying latent manifold which represents plausible head shapes. To evaluate the effectiveness of the diffusion-based prior, we collect a dataset of monocular Kinect sequences consisting of various complex facial expression motions and rapid transitions. We compare our method to state-of-the-art tracking methods and demonstrate improved head identity reconstruction as well as robust expression tracking.