Detecting the Clinical Features of Difficult-to-Treat Depression using Synthetic Data from Large Language Models

📄 arXiv: 2402.07645v1 📥 PDF

作者: Isabelle Lorge, Dan W. Joyce, Niall Taylor, Alejo Nevado-Holgado, Andrea Cipriani, Andrey Kormilitzin

分类: cs.CL

发布日期: 2024-02-12

💡 一句话要点

基于合成数据的工具检测难治性抑郁症临床特征

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 难治性抑郁症 大型语言模型 合成数据 BERT模型 电子健康记录 临床特征提取 机器学习 医疗数据分析

📋 核心要点

  1. 现有方法在识别难治性抑郁症的临床特征时，依赖于高度机密的医疗数据和人工专家标注，限制了其应用范围。
  2. 本文提出了一种基于大型语言模型的工具，通过合成数据训练模型，能够自动提取与DTD相关的临床特征，降低对专家标注的依赖。
  3. 实验结果显示，模型在真实临床数据上对多达20种因素的提取表现良好，尤其在重要因素上取得了显著的性能提升。

📝 摘要（中文）

难治性抑郁症（DTD）被提出为一种更广泛且临床上更全面的抑郁障碍视角。本文旨在开发一种基于大型语言模型（LLM）的工具，能够从常规收集的叙述性电子健康记录（EHR）数据中识别与DTD相关的预后因素。我们使用LLM生成的合成数据（GPT3.5）和非最大抑制（NMS）算法训练了一个基于BERT的跨度提取模型。结果表明，该模型能够有效提取与多种正负因素相关的文本跨度，并在真实临床数据上取得了良好的整体性能（0.70 F1），在重要的DTD因素上表现尤为突出（0.85 F1，0.95精确度）。

🔬 方法详解

问题定义：本文旨在解决如何从电子健康记录中有效识别难治性抑郁症的临床特征。现有方法通常依赖于专家标注和机密数据，难以推广应用。

核心思路：通过使用大型语言模型生成的合成数据，结合非最大抑制算法，训练一个基于BERT的模型来自动提取与DTD相关的文本信息，从而减少对人工标注的需求。

技术框架：整体流程包括数据生成、模型训练和特征提取三个主要阶段。首先，利用GPT3.5生成合成数据，然后应用NMS算法优化提取过程，最后通过BERT模型进行特征识别。

关键创新：本研究的创新点在于首次利用合成数据训练模型，成功实现了在真实临床数据上提取DTD相关特征的目标，突破了传统方法的限制。

关键设计：在模型训练中，采用了特定的损失函数以优化F1得分，并对BERT模型进行了参数调优，以提高对重要临床因素的识别能力。具体参数设置和网络结构细节在论文中有详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，模型在真实临床数据上对多达20种因素的提取表现良好，整体F1得分达到0.70，而在重要的DTD因素上，F1得分高达0.85，精确度达到0.95，显示出合成数据训练的有效性和潜力。

🎯 应用场景

该研究的潜在应用领域包括医疗数据分析、临床决策支持系统和心理健康监测等。通过自动化提取临床特征，能够提高医疗工作效率，降低对专家标注的依赖，促进个性化医疗的发展。未来，该方法有望在其他精神健康疾病的研究中得到应用，推动相关领域的进步。

📄 摘要（原文）

Difficult-to-treat depression (DTD) has been proposed as a broader and more clinically comprehensive perspective on a person's depressive disorder where despite treatment, they continue to experience significant burden. We sought to develop a Large Language Model (LLM)-based tool capable of interrogating routinely-collected, narrative (free-text) electronic health record (EHR) data to locate published prognostic factors that capture the clinical syndrome of DTD. In this work, we use LLM-generated synthetic data (GPT3.5) and a Non-Maximum Suppression (NMS) algorithm to train a BERT-based span extraction model. The resulting model is then able to extract and label spans related to a variety of relevant positive and negative factors in real clinical data (i.e. spans of text that increase or decrease the likelihood of a patient matching the DTD syndrome). We show it is possible to obtain good overall performance (0.70 F1 across polarity) on real clinical data on a set of as many as 20 different factors, and high performance (0.85 F1 with 0.95 precision) on a subset of important DTD factors such as history of abuse, family history of affective disorder, illness severity and suicidality by training the model exclusively on synthetic data. Our results show promise for future healthcare applications especially in applications where traditionally, highly confidential medical data and human-expert annotation would normally be required.