Extracting Social Support and Social Isolation Information from Clinical Psychiatry Notes: Comparing a Rule-based NLP System and a Large Language Model

📄 arXiv: 2403.17199v1 📥 PDF

作者: Braja Gopal Patra, Lauren A. Lepow, Praneet Kasi Reddy Jagadeesh Kumar, Veer Vekaria, Mohit Manoj Sharma, Prakash Adekkanattu, Brian Fennessy, Gavin Hynes, Isotta Landi, Jorge A. Sanchez-Ruiz, Euijung Ryu, Joanna M. Biernacka, Girish N. Nadkarni, Ardesheer Talati, Myrna Weissman, Mark Olfson, J. John Mann, Alexander W. Charney, Jyotishman Pathak

分类: cs.CL

发布日期: 2024-03-25

备注: 2 figures, 3 tables

DOI: 10.1093/jamia/ocae260

💡 一句话要点

提出基于规则的NLP系统与大语言模型比较以提取社会支持与孤立信息

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 社会支持 社会孤立 自然语言处理 电子健康记录 临床笔记 大语言模型 规则系统 心理健康

📋 核心要点

  1. 现有方法在提取社会支持和孤立信息时，往往依赖于人工标注，效率低下且容易出错。
  2. 本研究提出了一种基于规则的系统与大语言模型相结合的方法，以自动化提取临床笔记中的社会支持和孤立信息。
  3. 实验结果显示，基于规则的系统在提取准确性上显著优于大语言模型，特别是在子类别的提取上表现更佳。

📝 摘要（中文）

背景：社会支持（SS）和社会孤立（SI）是与精神健康结果相关的社会健康决定因素。在电子健康记录（EHRs）中，SS/SI通常以叙述性临床笔记的形式记录，而非结构化编码数据。自然语言处理（NLP）算法可以自动化数据提取的劳动密集型过程。方法：对来自Mount Sinai Health System（MSHS，n=300）和Weill Cornell Medicine（WCM，n=225）的精神科就诊记录进行注释，建立了黄金标准语料库。开发了一个基于规则的系统（RBS）和一个使用FLAN-T5-XL的大语言模型（LLM），以识别SS和SI及其子类别（如社交网络、工具性支持和孤独）。结果：在SS/SI提取方面，RBS在MSHS（0.89 vs. 0.65）和WCM（0.85 vs. 0.82）均获得了更高的宏观平均F1分数。讨论与结论：意外的是，RBS在所有指标上均优于LLM。深入审查表明，这一发现源于RBS和LLM采取的不同方法。

🔬 方法详解

问题定义：本研究旨在解决从临床笔记中提取社会支持（SS）和社会孤立（SI）信息的效率和准确性问题。现有方法主要依赖人工标注，导致数据提取过程繁琐且易出错。

核心思路：论文提出了一种结合基于规则的系统（RBS）和大语言模型（LLM）的方法。RBS通过特定的规则和词典进行信息提取，而LLM则利用深度学习模型进行更为灵活的分类。

技术框架：整体架构包括数据收集、注释标准建立、RBS和LLM的开发与训练、以及性能评估。数据来自两个医疗机构的精神科就诊记录，经过注释后形成黄金标准语料库。

关键创新：最重要的技术创新在于RBS的设计与优化，使其能够严格遵循黄金标准注释的规则，从而在提取准确性上超越了LLM。

关键设计：RBS使用了特定的词典和规则集，而LLM则采用FLAN-T5-XL模型。实验中，RBS在宏观平均F1分数上分别达到了0.89和0.85，明显高于LLM的0.65和0.82。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，基于规则的系统在提取社会支持和孤立信息方面的宏观平均F1分数为0.89和0.85，明显高于大语言模型的0.65和0.82，表明RBS在准确性和细节提取上具有显著优势。

🎯 应用场景

该研究的潜在应用领域包括医疗记录分析、心理健康评估和社会支持干预。通过自动化提取社会支持与孤立信息，能够为临床决策提供数据支持，提升患者护理质量，促进心理健康研究的发展。

📄 摘要（原文）

Background: Social support (SS) and social isolation (SI) are social determinants of health (SDOH) associated with psychiatric outcomes. In electronic health records (EHRs), individual-level SS/SI is typically documented as narrative clinical notes rather than structured coded data. Natural language processing (NLP) algorithms can automate the otherwise labor-intensive process of data extraction. Data and Methods: Psychiatric encounter notes from Mount Sinai Health System (MSHS, n=300) and Weill Cornell Medicine (WCM, n=225) were annotated and established a gold standard corpus. A rule-based system (RBS) involving lexicons and a large language model (LLM) using FLAN-T5-XL were developed to identify mentions of SS and SI and their subcategories (e.g., social network, instrumental support, and loneliness). Results: For extracting SS/SI, the RBS obtained higher macro-averaged f-scores than the LLM at both MSHS (0.89 vs. 0.65) and WCM (0.85 vs. 0.82). For extracting subcategories, the RBS also outperformed the LLM at both MSHS (0.90 vs. 0.62) and WCM (0.82 vs. 0.81). Discussion and Conclusion: Unexpectedly, the RBS outperformed the LLMs across all metrics. Intensive review demonstrates that this finding is due to the divergent approach taken by the RBS and LLM. The RBS were designed and refined to follow the same specific rules as the gold standard annotations. Conversely, the LLM were more inclusive with categorization and conformed to common English-language understanding. Both approaches offer advantages and are made available open-source for future testing.