Periodic-MAE: Periodic Video Masked Autoencoder for rPPG Estimation

📄 arXiv: 2506.21855 📥 PDF

作者: Jiho Choi, Sang Jun Lee

分类: cs.CV

发布日期: 2026-06-12

💡 一句话要点

提出Periodic-MAE以解决rPPG估计中的视频信号表示问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱八：物理动画 (Physics-based Animation)

关键词: 周期性信号 自监督学习 生理信号估计 掩码自编码器 视频分析 特征提取 脉搏信号

📋 核心要点

  1. 现有方法在处理未标记视频时，难以有效提取周期性生理信号的时空特征，导致rPPG估计性能不足。
  2. 论文提出的Periodic-MAE通过掩码自编码器和周期性帧掩码策略，能够自监督学习面部视频中的生理信号表示。
  3. 实验结果表明，Periodic-MAE在多个基准数据集上均显著提升了rPPG估计性能，尤其是在跨数据集和真实场景中表现优异。

📝 摘要（中文）

本文提出了Periodic-MAE，一个自监督框架，用于从未标记的面部视频中学习可泛化的周期性生理信号时空表示。该方法利用掩码自编码器（MAE），通过重建掩码视频标记来学习高维面部表示，而无需依赖于远程光电容积描记（rPPG）特定的监督。为明确对齐表示学习与rPPG特征，论文引入了一种基于视频重采样的周期性帧掩码策略，使编码器能够学习捕捉与脉搏信号估计相关的准周期性时间模式。此外，生理带限约束被整合到MAE预训练框架中，利用脉搏信号在频域中的稀疏性，引导学习到生理上有意义的模式。经过预训练后，学习到的表示被转移到下游的rPPG估计中，编码器作为通用特征提取器，从面部视频中恢复脉搏相关信号。

🔬 方法详解

问题定义：本文旨在解决从未标记的面部视频中提取周期性生理信号时空表示的问题。现有方法在缺乏监督的情况下，难以有效捕捉脉搏信号的特征，导致rPPG估计性能不佳。

核心思路：Periodic-MAE的核心思路是利用掩码自编码器（MAE）进行自监督学习，通过重建掩码视频标记来学习高维面部表示，并引入周期性帧掩码策略，以捕捉与脉搏信号相关的准周期性时间模式。

技术框架：该方法的整体架构包括两个主要阶段：首先是MAE的预训练阶段，通过掩码重建学习面部表示；其次是下游任务阶段，将学习到的表示应用于rPPG估计，编码器作为特征提取器。

关键创新：最重要的技术创新在于引入了周期性帧掩码策略和生理带限约束，使得学习到的表示能够更好地反映脉搏信号的特征，这与现有方法的监督学习方式有本质区别。

关键设计：在设计上，论文采用了特定的损失函数来优化掩码重建过程，并在频域中利用脉搏信号的稀疏性进行约束，以确保学习到的表示具有生理意义。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，Periodic-MAE在PURE、UBFC-rPPG、MMPD和V4V等四个基准数据集上均显著提升了rPPG估计性能，尤其在跨数据集和真实场景评估中表现优异，提升幅度达到XX%。

🎯 应用场景

该研究的潜在应用领域包括健康监测、情感分析和人机交互等。通过从面部视频中准确估计脉搏信号，Periodic-MAE能够在无监督条件下提供生理状态的实时反馈，具有重要的实际价值和未来影响。

📄 摘要（原文）

In this paper, we propose Periodic-MAE, a self-supervised framework for learning generalizable spatio-temporal representations of periodic physiological signals from unlabeled facial videos. The proposed method leverages a masked autoencoder (MAE), which learns high-dimensional facial representations by reconstructing masked video tokens without relying on remote photoplethysmography (rPPG) specific supervision. To explicitly align representation learning with the characteristics of rPPG, we introduce a periodicity-aware frame masking strategy based on video resampling, enabling the encoder to learn representations that capture quasi-periodic temporal patterns relevant to pulse signal estimation. In addition, physiological bandlimit constraints are integrated into the MAE pre-training framework, exploiting the sparsity of pulse signals in the frequency domain to guide the learned representations toward physiologically meaningful patterns. After pre-training, the learned representations are transferred to downstream rPPG estimation, where the encoder serves as a generic feature extractor for recovering pulse-related signals from facial videos. We conduct extensive experiments on four benchmark datasets, including PURE, UBFC-rPPG, MMPD, and V4V. Moreover, we evaluate the proposed approach on a real-world rPPG dataset collected under unconstrained lighting conditions and subject motion. Experimental results demonstrate that Periodic-MAE consistently improves rPPG estimation performance, particularly in challenging cross-dataset and real-world evaluation settings. Our code is available atthis https URL.