Large Language Models Perform on Par with Experts Identifying Mental Health Factors in Adolescent Online Forums
作者: Isabelle Lorge, Dan W. Joyce, Andrey Kormilitzin
分类: cs.CL
发布日期: 2024-04-25 (更新: 2024-04-26)
💡 一句话要点
利用大型语言模型识别青少年在线论坛中的心理健康因素
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 心理健康 大型语言模型 数据集构建 信息提取 青少年研究 模型评估 自然语言处理
📋 核心要点
- 青少年心理健康问题日益严重，现有监测方法缺乏效率和准确性。
- 本文通过创建新数据集并使用LLMs进行标注，探索其在心理健康领域的应用潜力。
- 实验结果显示，GPT4的标注一致性与人类相当，但在真实数据上仍有改进空间。
📝 摘要（中文）
近年来，儿童和青少年的心理健康状况持续恶化。大型语言模型（LLMs）的出现为监测和干预提供了高效的解决方案。尽管学校欺凌和饮食失调等问题普遍存在，之前的研究未探讨该领域的表现。本文创建了一个包含12-19岁青少年Reddit帖子的新数据集，并由专家精神科医生进行标注，涵盖创伤、脆弱性、状况、症状、自杀倾向和治疗等类别。通过与GPT3.5和GPT4的标注进行比较，发现GPT4的表现与人类标注者一致，且在合成数据上的表现显著提高，但在否定和事实准确性方面仍存在偶尔错误。
🔬 方法详解
问题定义：本文旨在解决青少年心理健康因素识别的效率和准确性问题。现有方法在处理开放信息提取时，缺乏针对性和灵活性，无法有效应对复杂的心理健康问题。
核心思路：通过构建一个包含专家标注的Reddit帖子数据集，比较LLMs（如GPT3.5和GPT4）与人类标注者的表现，探索LLMs在心理健康领域的应用潜力。
技术框架：研究分为数据集构建、模型训练与评估三个主要阶段。首先收集和标注数据，然后使用LLMs进行标注，最后评估模型与人类标注者的一致性和准确性。
关键创新：本研究的创新在于首次将LLMs应用于青少年心理健康因素的识别，并通过合成数据集评估其性能，揭示了LLMs在复杂数据处理中的潜力。
关键设计：在模型训练中，采用了特定的损失函数以优化标注准确性，并对模型的参数进行了细致调优，以适应心理健康领域的特殊需求。实验中还设计了合成数据集，以评估模型在生成数据时的表现。
🖼️ 关键图片
📊 实验亮点
实验结果表明，GPT4在标注一致性方面与人类标注者相当，且在合成数据上的表现显著提高，达到了更高的准确性。然而，在处理否定和事实准确性时，模型仍存在一定的错误率，显示出真实数据的复杂性对性能的影响。
🎯 应用场景
该研究的潜在应用领域包括心理健康监测、在线社区管理和青少年心理干预等。通过利用LLMs，能够实现更高效的心理健康问题识别和干预，降低人力成本，提升干预效果。未来，随着技术的进步，LLMs有望在更广泛的心理健康领域发挥重要作用。
📄 摘要（原文）
Mental health in children and adolescents has been steadily deteriorating over the past few years. The recent advent of Large Language Models (LLMs) offers much hope for cost and time efficient scaling of monitoring and intervention, yet despite specifically prevalent issues such as school bullying and eating disorders, previous studies on have not investigated performance in this domain or for open information extraction where the set of answers is not predetermined. We create a new dataset of Reddit posts from adolescents aged 12-19 annotated by expert psychiatrists for the following categories: TRAUMA, PRECARITY, CONDITION, SYMPTOMS, SUICIDALITY and TREATMENT and compare expert labels to annotations from two top performing LLMs (GPT3.5 and GPT4). In addition, we create two synthetic datasets to assess whether LLMs perform better when annotating data as they generate it. We find GPT4 to be on par with human inter-annotator agreement and performance on synthetic data to be substantially higher, however we find the model still occasionally errs on issues of negation and factuality and higher performance on synthetic data is driven by greater complexity of real data rather than inherent advantage.