RhythmMamba: Fast, Lightweight, and Accurate Remote Physiological Measurement
作者: Bochao Zou, Zizheng Guo, Xiaocheng Hu, Huimin Ma
分类: cs.CV
发布日期: 2024-04-09 (更新: 2025-02-24)
🔗 代码/项目: GITHUB
💡 一句话要点
提出RhythmMamba以解决远程生理测量中的时序依赖与冗余问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱八：物理动画 (Physics-based Animation)
关键词: 远程生理测量 光电容积描记法 状态空间模型 时间序列分析 深度学习 多时间约束 频域前馈 长程依赖
📋 核心要点
- 现有深度学习方法在理解rPPG的周期模式和处理视频片段中的时空冗余方面存在显著挑战。
- RhythmMamba通过状态空间模型捕捉长程依赖，同时保持线性复杂度，提出了多时间约束和频域前馈的设计。
- 实验结果显示，RhythmMamba在吞吐量和内存使用上均有显著提升，达到了当前最先进的性能水平。
📝 摘要（中文）
远程光电容积描记法（rPPG）是一种通过面部视频非接触式测量生理信号的方法，具有广泛的应用潜力，如医疗保健、情感计算和防伪等。现有深度学习方法在同时解决rPPG的周期模式理解和视频片段中的时空冗余方面存在困难，导致计算复杂度与捕捉长程依赖之间的权衡。本文提出RhythmMamba，一种基于状态空间模型的方法，能够在保持线性复杂度的同时捕捉长程依赖。通过将rPPG视为时间序列任务，模型将脉搏波的周期性变化建模为状态转移。此外，设计了多时间约束和频域前馈，以提高Mamba对rPPG信号的学习能力。大量实验表明，RhythmMamba在性能上达到了最先进水平，具有319%的吞吐量和23%的峰值GPU内存。代码可在https://github.com/zizheng-guo/RhythmMamba获取。
🔬 方法详解
问题定义：本文旨在解决远程光电容积描记法（rPPG）在长视频理解中的周期模式捕捉与时空冗余处理的双重挑战。现有方法往往在计算复杂度与长程依赖捕捉之间存在权衡，导致性能不足。
核心思路：RhythmMamba通过将rPPG视为时间序列任务，利用状态空间模型来建模脉搏波的周期性变化，从而有效捕捉长程依赖，同时保持线性复杂度。
技术框架：RhythmMamba的整体架构包括数据输入、状态转移建模、多时间约束和频域前馈模块。数据输入模块负责处理面部视频，状态转移模块用于建模脉搏波的变化，而多时间约束和频域前馈则增强了模型的学习能力。
关键创新：RhythmMamba的核心创新在于其基于状态空间模型的设计，能够在保持线性复杂度的同时有效捕捉长程依赖，这与现有方法的设计思路有本质区别。
关键设计：在模型设计中，采用了多时间约束以适应rPPG信号的特性，并引入频域前馈机制以增强模型的学习能力。具体的参数设置和损失函数设计未在摘要中详细说明，需参考原文获取更多信息。
🖼️ 关键图片
📊 实验亮点
RhythmMamba在实验中表现出319%的吞吐量和23%的峰值GPU内存使用，相较于现有方法有显著提升，展示了其在性能和效率上的优势。这些结果表明，该方法在处理长视频的rPPG信号时具有较强的实用性和有效性。
🎯 应用场景
RhythmMamba在医疗健康监测、情感计算以及防伪等领域具有广泛的应用潜力。其高效的远程生理信号测量能力可以为实时健康监测提供支持，推动个性化医疗的发展。此外，该技术的轻量化特性使其适合嵌入式设备和移动端应用，具有良好的市场前景。
📄 摘要（原文）
Remote photoplethysmography (rPPG) is a method for non-contact measurement of physiological signals from facial videos, holding great potential in various applications such as healthcare, affective computing, and anti-spoofing. Existing deep learning methods struggle to address two core issues of rPPG simultaneously: understanding the periodic pattern of rPPG among long contexts and addressing large spatiotemporal redundancy in video segments. These represent a trade-off between computational complexity and the ability to capture long-range dependencies. In this paper, we introduce RhythmMamba, a state space model-based method that captures long-range dependencies while maintaining linear complexity. By viewing rPPG as a time series task through the proposed frame stem, the periodic variations in pulse waves are modeled as state transitions. Additionally, we design multi-temporal constraint and frequency domain feed-forward, both aligned with the characteristics of rPPG time series, to improve the learning capacity of Mamba for rPPG signals. Extensive experiments show that RhythmMamba achieves state-of-the-art performance with 319% throughput and 23% peak GPU memory. The codes are available at https://github.com/zizheng-guo/RhythmMamba.