Aligning Large Language Models for Enhancing Psychiatric Interviews Through Symptom Delineation and Summarization: Pilot Study

📄 arXiv: 2403.17428v2 📥 PDF

作者: Jae-hee So, Joonhwan Chang, Eunji Kim, Junho Na, JiYeon Choi, Jy-yong Sohn, Byung-Hoon Kim, Sang Hui Chu

分类: cs.AI, cs.CL

发布日期: 2024-03-26 (更新: 2025-02-10)

期刊: JMIR Form Res 2024;8:e58418

DOI: 10.2196/58418

💡 一句话要点

利用大语言模型提升精神病访谈的症状识别与总结

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 精神病访谈 症状识别 文本总结 心理健康

📋 核心要点

  1. 现有方法在精神病访谈中缺乏有效的症状识别与总结工具，导致访谈质量不高。
  2. 本研究利用大语言模型，通过提取访谈记录中的压力源和症状，来提升访谈分析的准确性和效率。
  3. 实验结果显示，经过微调的LLMs在症状识别上达到了0.82的准确率，并在总结任务中获得了高达4.66的连贯性评分。

📝 摘要（中文）

背景：大语言模型（LLMs）的进步为精神病访谈开辟了新可能性。本研究通过分析经历过创伤和心理健康问题的朝鲜逃亡者的咨询数据，旨在提升精神病访谈的质量。目标：研究LLMs是否能够识别对话中暗示精神症状的部分，并总结压力源和症状。方法：LLMs被要求从访谈记录中提取压力源、识别症状及其对应部分，并生成访谈总结。结果：在使用GPT-4 Turbo的零-shot推理设置中，102个片段中有73个在识别症状相关部分时表现出较高的召回率。结论：LLMs在症状识别和总结方面表现出强大的准确性，显示出辅助心理健康从业者分析精神病访谈的潜力。

🔬 方法详解

问题定义：本研究旨在解决精神病访谈中症状识别和总结的不足，现有方法在处理复杂对话时常常无法有效识别和提炼关键信息。

核心思路：通过利用大语言模型的强大文本处理能力，提取访谈记录中的症状和压力源信息，从而提升访谈分析的准确性和效率。

技术框架：整体流程包括三个主要模块：1) 从访谈记录中提取压力源；2) 识别症状及其对应的对话部分；3) 基于提取的数据生成访谈总结。

关键创新：本研究的创新点在于结合了大语言模型的微调与适当的提示设计，显著提升了症状识别的准确性和总结的连贯性，区别于传统的基于规则的方法。

关键设计：在实验中，使用了经过心理健康专家标注的访谈记录进行训练，采用了适当的损失函数和评估指标，以确保模型在症状识别和总结任务中的表现。具体参数设置和网络结构细节在论文中进行了详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，在零-shot推理设置下，73个片段中有73个在识别症状相关部分时的召回率表现良好。经过微调的模型在症状识别任务中达到了0.82的准确率，并在生成总结任务中获得了高达4.66的连贯性评分，显示出显著的性能提升。

🎯 应用场景

该研究的潜在应用领域包括心理健康评估、临床访谈辅助工具和心理咨询服务。通过提升精神病访谈的质量，LLMs能够帮助心理健康从业者更有效地识别患者的症状和需求，进而改善治疗效果。未来，随着技术的进一步发展，LLMs在精神健康领域的应用将更加广泛。

📄 摘要（原文）

Background: Advancements in large language models (LLMs) have opened new possibilities in psychiatric interviews, an underexplored area where LLMs could be valuable. This study focuses on enhancing psychiatric interviews by analyzing counseling data from North Korean defectors who have experienced trauma and mental health issues. Objective: The study investigates whether LLMs can (1) identify parts of conversations that suggest psychiatric symptoms and recognize those symptoms, and (2) summarize stressors and symptoms based on interview transcripts. Methods: LLMs are tasked with (1) extracting stressors from transcripts, (2) identifying symptoms and their corresponding sections, and (3) generating interview summaries using the extracted data. The transcripts were labeled by mental health experts for training and evaluation. Results: In the zero-shot inference setting using GPT-4 Turbo, 73 out of 102 segments demonstrated a recall mid-token distance d < 20 in identifying symptom-related sections. For recognizing specific symptoms, fine-tuning outperformed zero-shot inference, achieving an accuracy, precision, recall, and F1-score of 0.82. For the generative summarization task, LLMs using symptom and stressor information scored highly on G-Eval metrics: coherence (4.66), consistency (4.73), fluency (2.16), and relevance (4.67). Retrieval-augmented generation showed no notable performance improvement. Conclusions: LLMs, with fine-tuning or appropriate prompting, demonstrated strong accuracy (over 0.8) for symptom delineation and achieved high coherence (4.6+) in summarization. This study highlights their potential to assist mental health practitioners in analyzing psychiatric interviews.