Leveraging Large Language Models to Extract Information on Substance Use Disorder Severity from Clinical Notes: A Zero-shot Learning Approach
作者: Maria Mahbub, Gregory M. Dams, Sudarshan Srinivasan, Caitlin Rizy, Ioana Danciu, Jodie Trafton, Kathryn Knight
分类: cs.CL, cs.AI
发布日期: 2024-03-18
备注: 10 pages, 4 figures, 2 tables
💡 一句话要点
利用大型语言模型提取临床笔记中的物质使用障碍严重性信息
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 自然语言处理 物质使用障碍 零样本学习 临床笔记 信息提取 风险评估 治疗规划
📋 核心要点
- 现有的诊断编码系统在物质使用障碍的严重性识别上缺乏细致性，传统NLP方法难以准确解析临床语言。
- 本研究提出了一种利用大型语言模型进行零样本学习的工作流程，通过精心设计的提示和后处理技术来提取信息。
- 实验结果表明，Flan-T5模型在提取严重性信息方面的召回率优于传统的基于规则的方法，显示出LLMs的有效性。
📝 摘要（中文）
物质使用障碍（SUD）因其对健康和社会的危害而备受关注。SUD的识别与治疗依赖于多种因素，如严重程度、共决定因素（例如戒断症状）和健康的社会决定因素。现有的美国保险提供商使用的诊断编码系统（如国际疾病分类ICD-10）在某些诊断上缺乏细致性，而临床医生会在临床笔记中添加更为详细的非结构化文本。传统的自然语言处理方法在准确解析多样的临床语言方面存在局限性。大型语言模型（LLMs）有望克服这些挑战。本研究探讨了LLMs在从临床笔记中提取SUD严重性相关信息的应用，提出了一种利用零样本学习的工作流程，并通过实验验证了其在召回率上的优势。
🔬 方法详解
问题定义：本研究旨在解决现有诊断编码系统在物质使用障碍严重性识别上的不足，尤其是传统自然语言处理方法在解析多样化临床语言时的局限性。
核心思路：本研究的核心思路是利用大型语言模型（LLMs）进行零样本学习，通过设计特定的提示来提取临床笔记中的严重性信息，从而提高信息提取的准确性和效率。
技术框架：整体架构包括数据准备、模型选择（Flan-T5）、提示设计、信息提取和后处理等主要模块。通过这些模块的协同工作，实现对SUD严重性信息的有效提取。
关键创新：本研究的关键创新在于采用零样本学习的方式，使得LLMs能够在没有大量标注数据的情况下，依然能够有效提取临床笔记中的关键信息，这与传统的基于规则的方法有本质区别。
关键设计：在模型训练中，采用了精心设计的提示以引导模型关注特定的严重性信息，同时在后处理阶段应用了特定的技术来提高提取结果的准确性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，Flan-T5模型在提取物质使用障碍严重性信息方面的召回率显著高于传统基于规则的方法，具体提升幅度达到XX%（具体数据未知），验证了大型语言模型在医疗文本处理中的有效性。
🎯 应用场景
该研究的潜在应用领域包括医疗健康信息系统、临床决策支持工具和公共卫生监测。通过提高物质使用障碍的严重性识别能力，可以更好地支持患者的风险评估和治疗规划，进而改善患者的健康结果和社会福祉。
📄 摘要（原文）
Substance use disorder (SUD) poses a major concern due to its detrimental effects on health and society. SUD identification and treatment depend on a variety of factors such as severity, co-determinants (e.g., withdrawal symptoms), and social determinants of health. Existing diagnostic coding systems used by American insurance providers, like the International Classification of Diseases (ICD-10), lack granularity for certain diagnoses, but clinicians will add this granularity (as that found within the Diagnostic and Statistical Manual of Mental Disorders classification or DSM-5) as supplemental unstructured text in clinical notes. Traditional natural language processing (NLP) methods face limitations in accurately parsing such diverse clinical language. Large Language Models (LLMs) offer promise in overcoming these challenges by adapting to diverse language patterns. This study investigates the application of LLMs for extracting severity-related information for various SUD diagnoses from clinical notes. We propose a workflow employing zero-shot learning of LLMs with carefully crafted prompts and post-processing techniques. Through experimentation with Flan-T5, an open-source LLM, we demonstrate its superior recall compared to the rule-based approach. Focusing on 11 categories of SUD diagnoses, we show the effectiveness of LLMs in extracting severity information, contributing to improved risk assessment and treatment planning for SUD patients.