RPM-Distill: Physiology-guided Adaptive Cross-modal Distillation for Robust Remote Physiological Measurement

📄 arXiv: 2606.28089v1 📥 PDF

作者: Jiyao Wang, Qingyong Hu, Duoxun Tang, Xiao Yang, Kaishun Wu, Jiangbo Yu

分类: cs.CV

发布日期: 2026-06-26

备注: Accepted by ECCV2026

🔗 代码/项目: GITHUB

💡 一句话要点

提出RPM-Distill以解决视频生理测量在复杂环境下的脆弱性问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 远程生理测量 跨模态蒸馏 生理引导 鲁棒性提升 多模态融合

📋 核心要点

  1. 现有的视频生理测量方法在复杂环境下表现不佳，易受光照、肤色和运动影响，导致测量不准确。
  2. RPM-Distill框架通过在训练阶段利用同步的RF雷达数据来引导视频数据的蒸馏，从而提高视频推理的鲁棒性。
  3. 在多项实验中，RPM-Distill在挑战性条件下实现了81%的MAE和21%的相关性提升，显著优于单模态基线。

📝 摘要（中文）

基于视频的远程生理测量（RPM）虽然具有较高的可及性，但在不同光照、肤色和运动情况下仍然脆弱。无线电频率（RF）雷达对光照和外观变化具有较强的鲁棒性，提供互补的心肺微运动线索。然而，在推理阶段使用雷达往往不切实际。为此，本文提出了RPM-Distill，一个生理引导的跨模态蒸馏框架，仅在训练期间利用同步雷达数据，同时保持视频推理。我们观察到，尽管RGB和RF波形在感知物理和时域形态上存在差异，但它们在频域中共享相似的潜在周期性节律。通过损失函数来蒸馏生理结构的频谱证据，从而提高鲁棒性。实验结果表明，RPM-Distill在挑战性条件和跨数据集设置下，MAE提高了81%，相关性提升了21%。

🔬 方法详解

问题定义：本文旨在解决视频生理测量在复杂环境下的脆弱性，现有方法在光照和肤色变化时表现不佳，导致测量结果不准确。

核心思路：RPM-Distill通过在训练阶段引入RF雷达数据来指导视频数据的蒸馏，利用两者在频域中的相似性来增强视频推理的鲁棒性。

技术框架：该框架包括训练阶段的雷达数据同步采集、视频数据的蒸馏过程以及推理阶段的仅视频输入。主要模块包括生理引导的频谱蒸馏和样本级蒸馏门控网络。

关键创新：最重要的创新在于通过频谱证据的蒸馏来增强视频数据的鲁棒性，尤其是通过损失函数来锚定基本峰值、匹配背景分布和保持频谱形态。

关键设计：设计了多种损失函数以实现频谱的精确蒸馏，并引入样本级蒸馏门控网络来应对教师模型质量和对齐不确定性，确保蒸馏过程的有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

RPM-Distill在多项实验中表现出色，尤其是在复杂条件下，MAE提升至81%，相关性提升21%，显著优于传统单模态基线，展示了其在生理测量领域的强大潜力。

🎯 应用场景

该研究的潜在应用领域包括远程医疗监测、运动健康管理和智能家居等。通过提高视频生理测量的鲁棒性，RPM-Distill能够在多种复杂环境下提供准确的生理数据，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Video-based remote physiological measurement (RPM) is highly accessible but remains fragile under varying illumination, skin tones, and motion. Radio frequency (RF) radar is largely invariant to illumination and appearance, providing complementary cardio-respiratory micro-motion cues; however, requiring radar at inference is often impractical due to its limited ubiquity and deployment overhead. We propose RPM-Distill, a physiology-guided cross-modal distillation framework that leverages synchronized radar only during training while retaining video-only inference. Our key observation is that although RGB and RF waveforms differ in sensing physics and time-domain morphology, they share similar latent periodic rhythm in the frequency domain. We thus distill physiology-structured spectral evidence to improve robustness, via losses that (i) anchor the fundamental peak, (ii) match the off-peak background distribution, and (iii) preserve spectral morphology and sharpness. To avoid negative transfer under sample-level teacher quality and alignment uncertainty, a spectral policy network predicts sample-level distillation gates and component weights from the student--teacher spectral relation map, learned with a meta bilevel objective on a small labeled validation split. Through extensive experiments in challenging conditions and cross-dataset settings, RPM-Distill brings 81\% MAE and 21\% correlation improvement over unimodal baselines. Code is at https://github.com/WJULYW/RPM-Distill.