From Classification to Clinical Insights: Towards Analyzing and Reasoning About Mobile and Behavioral Health Data With Large Language Models
作者: Zachary Englhardt, Chengqian Ma, Margaret E. Morris, Xuhai "Orson" Xu, Chun-Cheng Chang, Lianhui Qin, Daniel McDuff, Xin Liu, Shwetak Patel, Vikram Iyer
分类: cs.AI
发布日期: 2023-11-21 (更新: 2024-08-24)
期刊: Proceedings of the ACM on Interactive, Mobile, Wearable and Ubiquitous Technologies Volume 8, Issue 2, May 2024
DOI: 10.1145/3659604
💡 一句话要点
利用大语言模型分析移动与行为健康数据以支持临床决策
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大语言模型 行为健康 临床决策 人机协作 数据分析
📋 核心要点
- 现有方法在利用多传感器行为健康数据时面临设备间泛化和信号与心理健康之间的模糊相关性等挑战。
- 论文提出利用大语言模型生成数据趋势与心理健康状况之间的推理，采用链式思维提示方法。
- 实验结果显示，LLMs在抑郁症分类中准确率达到61.1%，并且临床专家对人机协作的兴趣强烈。
📝 摘要（中文）
被动收集的行为健康数据通过普遍传感器为心理健康专业人士提供了患者日常生活的洞察。然而，开发用于临床实践的分析工具面临设备间泛化和信号与心理健康之间的弱或模糊相关性等挑战。为此，本文提出了一种新颖的方法，利用大语言模型（LLMs）从多传感器数据中合成临床有用的洞察。通过链式思维提示方法，生成数据趋势（如步数和睡眠）与抑郁和焦虑等状况的关联推理。研究表明，LLMs在二分类抑郁症的准确率达到61.1%，超越了现有技术水平。更重要的是，提出了一种人机协作的新方法，临床专家与这些工具互动查询，结合其领域专业知识与AI生成的推理，支持临床决策。
🔬 方法详解
问题定义：本文旨在解决如何有效利用被动收集的行为健康数据进行临床分析的问题。现有方法在设备间泛化和信号与心理健康之间的相关性不足，限制了其临床应用。
核心思路：论文的核心思路是利用大语言模型（LLMs）生成关于数据趋势与心理健康状况之间关系的推理，强调人机协作的价值。通过这种方式，临床专家可以结合自身的专业知识与AI的推理结果，提升决策质量。
技术框架：整体架构包括数据收集、数据预处理、LLM推理和临床专家交互四个主要模块。首先收集多传感器数据，然后进行预处理，接着利用LLMs生成推理，最后通过专家交互进行验证和应用。
关键创新：最重要的技术创新点在于提出了链式思维提示方法，使得LLMs能够生成更具临床价值的推理。这一方法与传统的分类方法不同，强调了人机协作的动态性和灵活性。
关键设计：在模型设计上，采用了GPT-4等先进的LLMs，设置了适当的提示策略以引导模型生成相关推理。同时，关注模型对数值数据的引用准确性，实验中发现其正确引用率达到75%。
🖼️ 关键图片
📊 实验亮点
实验结果显示，利用大语言模型进行抑郁症分类的准确率达到61.1%，超越了现有技术水平。此外，模型在引用数值数据时的准确率为75%，临床专家对这种人机协作方法表现出强烈的兴趣，表明其在实际应用中的潜力。
🎯 应用场景
该研究的潜在应用领域包括心理健康监测、个性化治疗方案制定和临床决策支持。通过将大语言模型与行为健康数据结合，可以为心理健康专业人士提供更深入的洞察，提升患者的治疗效果和生活质量。未来，该方法可能在其他健康领域得到推广，促进健康数据的智能化分析与应用。
📄 摘要（原文）
Passively collected behavioral health data from ubiquitous sensors holds significant promise to provide mental health professionals insights from patient's daily lives; however, developing analysis tools to use this data in clinical practice requires addressing challenges of generalization across devices and weak or ambiguous correlations between the measured signals and an individual's mental health. To address these challenges, we take a novel approach that leverages large language models (LLMs) to synthesize clinically useful insights from multi-sensor data. We develop chain of thought prompting methods that use LLMs to generate reasoning about how trends in data such as step count and sleep relate to conditions like depression and anxiety. We first demonstrate binary depression classification with LLMs achieving accuracies of 61.1% which exceed the state of the art. While it is not robust for clinical use, this leads us to our key finding: even more impactful and valued than classification is a new human-AI collaboration approach in which clinician experts interactively query these tools and combine their domain expertise and context about the patient with AI generated reasoning to support clinical decision-making. We find models like GPT-4 correctly reference numerical data 75% of the time, and clinician participants express strong interest in using this approach to interpret self-tracking data.