SeSaMe: A Framework to Simulate Self-Reported Ground Truth for Mental Health Sensing Studies

📄 arXiv: 2403.17219v2 📥 PDF

作者: Akshat Choube, Vedant Das Swain, Varun Mishra

分类: cs.HC, cs.AI, cs.CY

发布日期: 2024-03-25 (更新: 2024-03-27)

💡 一句话要点

提出SeSaMe框架以解决心理健康研究中的自我报告负担问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 心理健康 自我报告 大型语言模型 数据模拟 机器学习 行为建模 心理量表

📋 核心要点

  1. 现有心理健康研究方法依赖参与者的自我报告，增加了参与者负担，导致数据缺失和不诚实反馈。
  2. SeSaMe框架通过利用大型语言模型，模拟参与者在心理量表上的反应，从而减轻自我报告的需求。
  3. 实验结果显示，SeSaMe模拟的反应在大多数评估场景中与真实数据的模型性能相当，验证了其有效性。

📝 摘要（中文）

随着移动和可穿戴技术的发展，能够被动监测个人的心理、行为和情感健康成为可能。然而，现有方法依赖于参与者的长期自我报告，这增加了参与者的负担，导致数据缺失或不诚实的反馈。为此，本文提出了Scale Scores Simulation using Mental Models（SeSaMe）框架，通过利用预训练的大型语言模型（LLMs），模拟参与者在心理量表上的反应。研究表明，SeSaMe能够有效减轻参与者负担，并在多个评估场景中，其模拟数据的模型性能与真实数据相当，展示了其在心理健康研究中的潜力。

🔬 方法详解

问题定义：本文旨在解决心理健康研究中参与者自我报告的负担问题。现有方法依赖于长期的自我报告，导致参与者流失、数据缺失或不诚实的反馈。

核心思路：SeSaMe框架的核心思路是利用预训练的大型语言模型（LLMs）来模拟参与者在心理量表上的反应，从而减少对参与者的负担。通过提供参与者的内部行为倾向信息，LLMs能够构建参与者的心理模型，生成相应的反应。

技术框架：SeSaMe的整体架构包括数据输入、心理模型构建和反应模拟三个主要模块。研究者首先输入参与者的行为信息，然后LLMs根据这些信息生成心理量表的模拟反应。

关键创新：SeSaMe的主要创新在于利用大型语言模型进行心理健康数据的模拟，打破了传统方法对真实自我报告的依赖。这种方法不仅减轻了参与者的负担，还提高了数据收集的效率。

关键设计：在实现过程中，SeSaMe对LLMs进行了特定的提示设计，以确保生成的反应与参与者的心理状态相符。此外，研究中还评估了模拟数据与真实数据在不同心理量表上的一致性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，SeSaMe模拟的心理量表反应在大多数评估场景中与真实数据的模型性能相当，验证了其有效性。尤其是在抑郁和焦虑筛查任务中，使用模拟数据的模型表现与使用真实数据的模型相当，显示出SeSaMe的潜力。

🎯 应用场景

SeSaMe框架在心理健康研究中具有广泛的应用潜力，尤其是在需要长时间跟踪参与者心理状态的研究中。通过减少参与者的负担，SeSaMe可以提高数据收集的质量和效率，进而推动心理健康领域的研究进展。未来，SeSaMe可能在其他领域的自我报告数据收集中也具有应用价值。

📄 摘要（原文）

Advances in mobile and wearable technologies have enabled the potential to passively monitor a person's mental, behavioral, and affective health. These approaches typically rely on longitudinal collection of self-reported outcomes, e.g., depression, stress, and anxiety, to train machine learning (ML) models. However, the need to continuously self-report adds a significant burden on the participants, often resulting in attrition, missing labels, or insincere responses. In this work, we introduce the Scale Scores Simulation using Mental Models (SeSaMe) framework to alleviate participants' burden in digital mental health studies. By leveraging pre-trained large language models (LLMs), SeSaMe enables the simulation of participants' responses on psychological scales. In SeSaMe, researchers can prompt LLMs with information on participants' internal behavioral dispositions, enabling LLMs to construct mental models of participants to simulate their responses on psychological scales. We demonstrate an application of SeSaMe, where we use GPT-4 to simulate responses on one scale using responses from another as behavioral information. We also evaluate the alignment between human and SeSaMe-simulated responses to psychological scales. Then, we present experiments to inspect the utility of SeSaMe-simulated responses as ground truth in training ML models by replicating established depression and anxiety screening tasks from a previous study. Our results indicate SeSaMe to be a promising approach, but its alignment may vary across scales and specific prediction objectives. We also observed that model performance with simulated data was on par with using the real data for training in most evaluation scenarios. We conclude by discussing the potential implications of SeSaMe in addressing some challenges researchers face with ground-truth collection in passive sensing studies.