Orientation-conditioned Facial Texture Mapping for Video-based Facial Remote Photoplethysmography Estimation

📄 arXiv: 2404.09378v3 📥 PDF

作者: Sam Cantrill, David Ahmedt-Aristizabal, Lars Petersson, Hanna Suominen, Mohammad Ali Armin

分类: cs.CV

发布日期: 2024-04-14 (更新: 2024-05-01)

备注: 12 pages, 8 figures, 6 tables; minor corrections

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出基于方向条件的面部纹理映射以解决视频rPPG估计中的运动干扰问题

🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation)

关键词: 远程光电容积描记法 面部纹理映射 3D面部表面 运动鲁棒性 生理信号监测

📋 核心要点

  1. 现有视频rPPG估计方法在动态和不受限制的主体运动下，面部外观变化显著，导致信号提取不准确。
  2. 本文提出了一种基于3D面部表面的方向条件面部纹理视频表示，以增强运动鲁棒性，改善rPPG信号提取效果。
  3. 实验结果显示，该方法在MMPD数据集的交叉测试中，性能提升达18.2%，在多种运动场景下表现出色，最高提升29.6%。

📝 摘要（中文）

基于摄像头的远程光电容积描记法（rPPG）能够无接触地测量脉搏率等重要生理信号。然而，动态和不受限制的主体运动会显著影响视频中的面部外观，从而干扰rPPG信号的提取。本文利用3D面部表面构建了一种新颖的方向条件面部纹理视频表示，提升了现有视频rPPG估计方法的运动鲁棒性。实验结果表明，该方法在MMPD数据集的交叉测试中，相较于基线PhysNet模型，性能提升达18.2%。在所有测试的运动场景中，性能提升最高可达29.6%。

🔬 方法详解

问题定义：本文旨在解决动态和不受限制的主体运动对视频rPPG估计的影响，现有方法在此情境下表现不佳，导致信号提取不准确。

核心思路：通过构建一种方向条件的面部纹理视频表示，利用3D面部表面信息来解耦运动影响，从而提升rPPG信号的提取精度。

技术框架：整体方法包括三个主要模块：首先，利用3D面部模型生成方向条件的纹理表示；其次，结合深度学习模型（如PhysNet）进行信号提取；最后，通过实验验证不同处理步骤的有效性。

关键创新：最重要的创新在于利用3D面部表面信息来增强视频表示的运动鲁棒性，这一方法与传统的2D视频处理方法本质上不同，能够更好地应对动态变化。

关键设计：在模型设计中，采用了特定的损失函数来优化信号提取效果，并对网络结构进行了调整，以适应方向条件纹理的输入，确保模型能够有效学习面部运动的特征。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，提出的方法在MMPD数据集的交叉测试中，相较于基线PhysNet模型，性能提升达18.2%。在各种运动场景下，性能提升最高可达29.6%，证明了该方法在动态和不受限制的主体运动条件下的有效性。

🎯 应用场景

该研究的潜在应用领域包括医疗监测、健康管理和人机交互等。通过无接触的方式实时监测生理信号，能够在医院、家庭等多种场景中提供便利，尤其是在疫情期间，减少接触风险。此外，该技术的推广可能会对智能设备的健康监测功能产生深远影响。

📄 摘要（原文）

Camera-based remote photoplethysmography (rPPG) enables contactless measurement of important physiological signals such as pulse rate (PR). However, dynamic and unconstrained subject motion introduces significant variability into the facial appearance in video, confounding the ability of video-based methods to accurately extract the rPPG signal. In this study, we leverage the 3D facial surface to construct a novel orientation-conditioned facial texture video representation which improves the motion robustness of existing video-based facial rPPG estimation methods. Our proposed method achieves a significant 18.2% performance improvement in cross-dataset testing on MMPD over our baseline using the PhysNet model trained on PURE, highlighting the efficacy and generalization benefits of our designed video representation. We demonstrate significant performance improvements of up to 29.6% in all tested motion scenarios in cross-dataset testing on MMPD, even in the presence of dynamic and unconstrained subject motion, emphasizing the benefits of disentangling motion through modeling the 3D facial surface for motion robust facial rPPG estimation. We validate the efficacy of our design decisions and the impact of different video processing steps through an ablation study. Our findings illustrate the potential strengths of exploiting the 3D facial surface as a general strategy for addressing dynamic and unconstrained subject motion in videos. The code is available at https://samcantrill.github.io/orientation-uv-rppg/.