EgoHRV: Continuous Heart Rate Variability Estimation from Egocentric Systems for Autonomic Response and Skill Assessment

📄 arXiv: 2608.18711v1 📥 PDF

作者: Berken Utku Demirel, Christian Holz

分类: cs.CV, eess.SP

发布日期: 2026-08-19

备注: Accepted to the European Conference on Computer Vision (ECCV) 2026

🔗 代码/项目: GITHUB

💡 一句话要点

提出EgoHRV以解决自我中心系统中心率变异性估计问题

🎯 匹配领域: 支柱六：视频提取与匹配 (Video Extraction) 支柱八：物理动画 (Physics-based Animation)

关键词: 心率变异性 自我中心视觉 生理信号估计 行为建模 情绪监测 实时反馈 跨域学习

📋 核心要点

  1. 现有自我中心视觉系统无法有效捕捉与自主状态相关的生理指标，如心率变异性（HRV），导致对用户状态的理解不足。
  2. EgoHRV方法通过利用自我中心头戴设备中的视线摄像头，结合3D骨干网络和低高分解模块，成功从视线视频中提取HRV和HR。
  3. EgoHRV在HR和HRV估计中达到了最先进的准确性，并通过不确定性感知设计提高了行为建模的准确性，提升幅度达到17.8%。

📝 摘要（中文）

自我中心视觉系统捕捉人类行为的可见线索，但忽视了诸如压力、参与度和注意力等自主状态的生理指标。心率变异性（HRV）是压力下自主调节的广泛使用的非侵入性标记。HRV反映了连续心跳之间的小时间差，然而在自我中心平台中，由于运动和噪声的干扰，HRV的估计一直难以实现。本文提出EgoHRV方法，从已经集成在自我中心头戴设备中的视线摄像头中估计HRV和心率（HR）。我们的流程结合了3D骨干网络和一种新颖的低高分解模块，从视线视频中提取血容量脉搏（BVP）信号。通过跨域预训练对接触式和摄像头衍生信号的频域表示进行对齐，使EgoHRV能够从视线视频的微小波动中恢复HRV。EgoHRV在自我中心视频的HR和HRV估计中达到了最先进的准确性，其不确定性感知设计提高了下游行为建模的效果。

🔬 方法详解

问题定义：本文旨在解决自我中心视觉系统中无法有效估计心率变异性（HRV）的问题。现有方法在运动和噪声干扰下，无法捕捉到心跳之间的微小时间差，导致HRV的估计不准确。

核心思路：EgoHRV方法的核心思想是利用自我中心头戴设备中的视线摄像头，结合3D骨干网络和低高分解模块，提取血容量脉搏（BVP）信号，从而实现HRV和HR的估计。通过跨域预训练对信号进行频域对齐，增强了时间精度。

技术框架：EgoHRV的整体架构包括数据采集、信号处理和HRV估计三个主要阶段。首先，通过视线摄像头采集视频数据；然后，利用低高分解模块提取BVP信号；最后，结合3D骨干网络进行HR和HRV的估计。

关键创新：EgoHRV的主要创新在于其低高分解模块和跨域预训练策略，使得从自我中心视频中提取HRV成为可能。这一方法在时间精度上显著优于传统的接触式信号采集方法。

关键设计：在技术细节上，EgoHRV采用了特定的损失函数来优化BVP信号的提取，并设计了适应性参数设置，以提高模型的鲁棒性和准确性。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

EgoHRV在自我中心视频的HR和HRV估计中达到了最先进的准确性，其不确定性感知设计显著提高了下游行为建模的效果，准确性提升幅度达到17.8%。这一成果为自我中心系统的情绪和状态监测提供了新的可能性。

🎯 应用场景

EgoHRV的研究成果具有广泛的应用潜力，特别是在心理健康监测、运动表现评估和人机交互等领域。通过实时监测用户的HRV，系统能够更好地理解用户的情绪状态和参与度，为个性化反馈和干预提供数据支持。未来，该技术还可能扩展到更复杂的情境中，如虚拟现实和增强现实环境中的用户体验优化。

📄 摘要（原文）

Egocentric vision systems capture human behavior from visible cues, but overlook physiological indicators of autonomic states such as stress, engagement, and attention. Heart rate variability (HRV) is a widely used noninvasive marker of autonomic regulation under stress. HRV reflects small timing differences between successive heartbeats and has so far been out of reach for egocentric platforms, where motion and noise in gaze video mask exactly this fine-grained timing. We propose EgoHRV, a method that estimates HRV as well as heart rate (HR) from the gaze cameras that are already integrated into egocentric headsets. Our pipeline combines a 3D backbone with a novel low--high decomposition module that extracts the blood volume pulse (BVP) signal from gaze video. Our cross-domain pretraining aligns the frequency-domain representations of contact-based and camera-derived signals. This alignment gives EgoHRV the temporal precision to recover HRV from the subtle fluctuations in gaze video. EgoHRV achieves state-of-the-art accuracy for HR and HRV estimation from egocentric video, and its uncertainty-aware design improves downstream behavioral modeling. Integrating our HRV estimates and confidence measures into EgoExo4D's proficiency estimator raises accuracy by 17.8%. Beyond skill, continuous HRV estimation also opens egocentric systems to stress- and arousal-aware estimation tasks. Code: https://github.com/eth-siplab/EgoHRV