SiNC+: Adaptive Camera-Based Vitals with Unsupervised Learning of Periodic Signals
作者: Jeremy Speth, Nathan Vance, Patrick Flynn, Adam Czajka
分类: cs.CV, cs.AI, cs.LG
发布日期: 2024-04-20
备注: Extension of CVPR2023 highlight paper. arXiv admin note: substantial text overlap with arXiv:2303.07944
💡 一句话要点
提出SiNC+以解决无监督学习周期信号的问题
🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation)
关键词: 无监督学习 远程脉搏估计 信号回归 健康监测 深度学习
📋 核心要点
- 现有的远程脉搏估计方法依赖于有标签的数据集，限制了其在实际应用中的灵活性和适应性。
- 本文提出了一种非对比无监督学习框架，能够从未标注视频中直接提取周期信号，减少对标注数据的依赖。
- 实验结果表明，该方法在不同生理信号的估计中表现出色，能够有效适应个体差异，提升了信号回归的准确性。
📝 摘要（中文）
微弱的周期信号，如血容量脉搏和呼吸，可以通过RGB视频提取，从而实现低成本的非接触式健康监测。现有的远程脉搏估计方法主要依赖深度学习解决方案，但这些方法通常在有标签的数据集上训练和评估。本文提出了首个非对比无监督学习框架，用于信号回归，减少对标注视频数据的需求。通过对周期性和有限带宽的最小假设，我们的方法能够直接从未标注的视频中发现血容量脉搏。实验表明，该方法在不同领域的带限准周期信号的无监督学习中具有广泛适用性。
🔬 方法详解
问题定义：本文旨在解决现有远程脉搏估计方法对有标签数据的依赖，限制了其在实际应用中的灵活性和适应性。
核心思路：提出了一种非对比无监督学习框架，通过对周期性和有限带宽的假设，从未标注视频中直接提取血容量脉搏信号。
技术框架：整体框架包括信号提取模块和特征学习模块，前者负责从视频中提取周期信号，后者则通过鼓励稀疏功率谱来学习视觉特征。
关键创新：最重要的创新在于首次实现了无监督学习的信号回归，能够在没有标注数据的情况下有效提取生理信号，与现有方法相比具有更高的灵活性。
关键设计：在损失函数设计上，采用了鼓励稀疏功率谱的策略，并通过调整目标信号的带限来适应不同的生理信号，确保模型的泛化能力。
🖼️ 关键图片
📊 实验亮点
实验结果显示，使用未标注视频数据进行训练的脉搏率估计器在准确性上显著优于传统方法，尤其是在个体差异较大的情况下，表现出更好的适应性和鲁棒性。
🎯 应用场景
该研究具有广泛的应用潜力，尤其是在健康监测、远程医疗和个性化医疗领域。通过无接触的方式监测生理信号，能够降低成本并提高用户的接受度，未来可能在智能穿戴设备和家庭健康监测中发挥重要作用。
📄 摘要（原文）
Subtle periodic signals, such as blood volume pulse and respiration, can be extracted from RGB video, enabling noncontact health monitoring at low cost. Advancements in remote pulse estimation -- or remote photoplethysmography (rPPG) -- are currently driven by deep learning solutions. However, modern approaches are trained and evaluated on benchmark datasets with ground truth from contact-PPG sensors. We present the first non-contrastive unsupervised learning framework for signal regression to mitigate the need for labelled video data. With minimal assumptions of periodicity and finite bandwidth, our approach discovers the blood volume pulse directly from unlabelled videos. We find that encouraging sparse power spectra within normal physiological bandlimits and variance over batches of power spectra is sufficient for learning visual features of periodic signals. We perform the first experiments utilizing unlabelled video data not specifically created for rPPG to train robust pulse rate estimators. Given the limited inductive biases, we successfully applied the same approach to camera-based respiration by changing the bandlimits of the target signal. This shows that the approach is general enough for unsupervised learning of bandlimited quasi-periodic signals from different domains. Furthermore, we show that the framework is effective for finetuning models on unlabelled video from a single subject, allowing for personalized and adaptive signal regressors.