Large-scale Training of Foundation Models for Wearable Biosignals
作者: Salar Abbaspourazad, Oussama Elachqar, Andrew C. Miller, Saba Emrani, Udhyakumar Nallasamy, Ian Shapiro
分类: cs.LG, cs.AI, eess.SP
发布日期: 2023-12-08 (更新: 2024-03-06)
备注: Camera ready version for ICLR 2024
💡 一句话要点
利用大规模可穿戴设备生物信号训练PPG/ECG基础模型，助力健康监测。
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 可穿戴设备 生物信号 自监督学习 基础模型 PPG ECG 健康监测 对比学习
📋 核心要点
- 现有医学数据集规模小，限制了生物信号神经网络模型的发展，阻碍了新型健康指标的发现。
- 本研究利用大规模可穿戴设备数据，通过自监督学习训练PPG和ECG的基础模型，无需大量标注数据。
- 实验表明，预训练的基础模型能够有效编码参与者的人口统计学信息和健康状况，具有良好的泛化能力。
📝 摘要（中文）
生物信号追踪对于健康监测和预防严重疾病至关重要。可穿戴设备能够便捷地记录各种生物信号，为无干扰的日常健康监测提供了机会。尽管可穿戴设备应用广泛且已存在数字生物标记，但缺乏带有医学标注的精选数据阻碍了新生物标记的开发。医学数据集通常比其他领域的数据集小，这给生物信号的神经网络模型开发带来了挑战。为了解决这个问题，我们利用Apple Heart and Movement Study (AHMS)中经知情同意收集的大量未标记传感器数据，采用自监督学习方法训练了两种常见生物信号（光电容积脉搏波PPG和心电图ECG）的基础模型。我们从AHMS中整理了PPG和ECG数据集，包含来自约14.1万参与者、跨越约3年的数据。我们的自监督学习框架包括参与者级别的正样本对选择、随机增强模块和使用动量训练优化的正则化对比损失，并且可以很好地推广到PPG和ECG两种模态。我们证明了预训练的基础模型能够很好地编码参与者的人口统计学信息和健康状况。据我们所知，这是第一个使用通过可穿戴消费设备收集的大规模PPG和ECG数据构建基础模型的研究，而以往的研究通常使用在临床和实验环境中收集的小规模数据集。我们相信PPG和ECG基础模型可以通过减少对标记数据的依赖来增强未来的可穿戴设备，并有可能帮助用户改善他们的健康。
🔬 方法详解
问题定义：论文旨在解决医学领域中生物信号数据标注成本高昂，数据集规模小，导致模型训练困难的问题。现有方法通常依赖于临床或实验环境下收集的小规模数据集，泛化能力有限，难以应用于实际的可穿戴设备场景。
核心思路：论文的核心思路是利用大规模的未标注可穿戴设备数据，通过自监督学习的方式预训练生物信号的基础模型。通过学习数据中的内在结构和表示，使得模型能够捕捉到与健康状况相关的关键信息，从而降低对标注数据的依赖。
技术框架：整体框架包含以下几个主要模块：1) 数据收集与整理：从Apple Heart and Movement Study (AHMS) 中收集PPG和ECG数据，构建大规模数据集。2) 自监督学习：采用对比学习框架，包括参与者级别的正样本对选择、随机数据增强模块和正则化对比损失函数。3) 模型训练：使用动量训练优化器训练模型。4) 模型评估：评估预训练模型在下游任务上的性能，例如人口统计学信息和健康状况预测。
关键创新：最重要的创新点在于利用大规模的真实世界可穿戴设备数据进行自监督学习，构建生物信号的基础模型。与以往研究使用的小规模临床数据相比，本研究的数据规模更大，更具代表性，能够更好地反映真实世界的使用场景。此外，该研究提出的自监督学习框架能够有效利用未标注数据，降低了对标注数据的依赖。
关键设计：在自监督学习框架中，正样本对的选择基于同一参与者的数据，确保正样本对具有相似的生物特征。随机数据增强模块用于增加数据的多样性，提高模型的鲁棒性。正则化对比损失函数用于学习数据中的区分性表示。动量训练优化器用于加速模型收敛，提高训练稳定性。具体网络结构和超参数设置在论文中未详细说明，属于未知信息。
📊 实验亮点
该研究利用来自约14.1万参与者、跨越约3年的大规模PPG和ECG数据，训练了生物信号的基础模型。实验结果表明，预训练模型能够有效编码参与者的人口统计学信息和健康状况，表明该模型具有良好的泛化能力和应用潜力。具体的性能数据和对比基线在摘要中未提及，属于未知信息。
🎯 应用场景
该研究成果可应用于各种可穿戴健康监测设备，例如智能手表、手环等。通过预训练的基础模型，可以减少对大量标注数据的需求，加速新型健康指标的开发和应用。该技术有望提升用户健康管理水平，实现疾病的早期预警和干预，具有重要的社会价值。
📄 摘要（原文）
Tracking biosignals is crucial for monitoring wellness and preempting the development of severe medical conditions. Today, wearable devices can conveniently record various biosignals, creating the opportunity to monitor health status without disruption to one's daily routine. Despite widespread use of wearable devices and existing digital biomarkers, the absence of curated data with annotated medical labels hinders the development of new biomarkers to measure common health conditions. In fact, medical datasets are usually small in comparison to other domains, which is an obstacle for developing neural network models for biosignals. To address this challenge, we have employed self-supervised learning using the unlabeled sensor data collected under informed consent from the large longitudinal Apple Heart and Movement Study (AHMS) to train foundation models for two common biosignals: photoplethysmography (PPG) and electrocardiogram (ECG) recorded on Apple Watch. We curated PPG and ECG datasets from AHMS that include data from ~141K participants spanning ~3 years. Our self-supervised learning framework includes participant level positive pair selection, stochastic augmentation module and a regularized contrastive loss optimized with momentum training, and generalizes well to both PPG and ECG modalities. We show that the pre-trained foundation models readily encode information regarding participants' demographics and health conditions. To the best of our knowledge, this is the first study that builds foundation models using large-scale PPG and ECG data collected via wearable consumer devices $\unicode{x2013}$ prior works have commonly used smaller-size datasets collected in clinical and experimental settings. We believe PPG and ECG foundation models can enhance future wearable devices by reducing the reliance on labeled data and hold the potential to help the users improve their health.