Integrating Wearable Sensor Data and Self-reported Diaries for Personalized Affect Forecasting
作者: Zhongqi Yang, Yuning Wang, Ken S. Yamashita, Maryam Sabah, Elahe Khatibi, Iman Azimi, Nikil Dutt, Jessica L. Borelli, Amir M. Rahmani
分类: cs.LG, cs.AI
发布日期: 2024-03-16 (更新: 2024-03-23)
备注: Accepted by Connected Health: Applications, Systems and Engineering Technologies (CHASE) 2024
期刊: Smart Health 32 (2024): 100464
DOI: 10.1016/j.smhl.2024.100464
💡 一句话要点
提出多模态深度学习模型以解决情感状态预测问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 情感预测 多模态深度学习 可穿戴传感器 自我报告数据 变换器模型 心理健康监测 个性化干预
📋 核心要点
- 现有方法主要集中于短期情感检测，忽视了自我报告信息的整合，导致情感预测的准确性不足。
- 本文提出的多模态深度学习模型结合了变换器编码器和预训练语言模型，实现了客观数据与自我报告数据的综合分析。
- 实验结果显示，该模型在情感预测上取得了82.50%和82.76%的准确率，且可提前一周进行预测，效果显著提升。
📝 摘要（中文）
情感状态作为情感的指标，对整体健康至关重要，因此在发作前准确预测其变化至关重要。目前的研究主要集中在使用可穿戴设备和移动设备进行短期情感检测，通常侧重于客观传感器测量，而忽视了自我报告的信息，如日记和笔记。本文提出了一种多模态深度学习模型，结合了变换器编码器和预训练语言模型，促进了客观指标与自我报告日记的综合分析。通过对大学生进行为期一年的纵向研究，收集了包括生理、环境、睡眠、代谢和身体活动参数在内的广泛数据集，以及参与者提供的开放式文本日记。结果表明，该模型在预测积极情感和消极情感方面的准确率分别达到82.50%和82.76%，且具有良好的可解释性。
🔬 方法详解
问题定义：本文旨在解决情感状态预测的准确性不足问题，现有方法多集中于短期情感检测，缺乏对自我报告信息的有效利用。
核心思路：提出的模型通过结合变换器编码器与预训练语言模型，整合客观传感器数据与自我报告日记，实现多模态数据的深度分析。
技术框架：模型整体架构包括数据预处理、特征提取、变换器编码器和语言模型的结合，最后通过预测层输出情感状态。
关键创新：最重要的创新在于将自我报告的文本数据与生理数据相结合，提升了情感预测的准确性和可解释性，与现有方法相比，提供了更全面的情感分析视角。
关键设计：模型采用了特定的损失函数以优化预测效果，并在网络结构中引入了多层变换器编码器，以增强对复杂情感模式的捕捉能力。通过对参数的精细调节，确保了模型的稳定性和准确性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，提出的多模态深度学习模型在情感预测方面的准确率分别达到82.50%（积极情感）和82.76%（消极情感），相比于传统方法有显著提升，且能够提前一周进行情感状态预测，具有良好的可解释性。
🎯 应用场景
该研究的潜在应用领域包括心理健康监测、个性化情感干预和智能健康管理系统。通过准确预测情感状态，可以为用户提供及时的情感支持和干预措施，提升整体生活质量。未来，该模型可扩展至更广泛的健康监测和情感分析应用中，具有重要的实际价值。
📄 摘要（原文）
Emotional states, as indicators of affect, are pivotal to overall health, making their accurate prediction before onset crucial. Current studies are primarily centered on immediate short-term affect detection using data from wearable and mobile devices. These studies typically focus on objective sensory measures, often neglecting other forms of self-reported information like diaries and notes. In this paper, we propose a multimodal deep learning model for affect status forecasting. This model combines a transformer encoder with a pre-trained language model, facilitating the integrated analysis of objective metrics and self-reported diaries. To validate our model, we conduct a longitudinal study, enrolling college students and monitoring them over a year, to collect an extensive dataset including physiological, environmental, sleep, metabolic, and physical activity parameters, alongside open-ended textual diaries provided by the participants. Our results demonstrate that the proposed model achieves predictive accuracy of 82.50% for positive affect and 82.76% for negative affect, a full week in advance. The effectiveness of our model is further elevated by its explainability.