RACER: An LLM-powered Methodology for Scalable Analysis of Semi-structured Mental Health Interviews
作者: Satpreet Harcharan Singh, Kevin Jiang, Kanchan Bhasin, Ashutosh Sabharwal, Nidal Moukaddam, Ankit B Patel
分类: cs.CL, q-bio.QM
发布日期: 2024-02-05
💡 一句话要点
提出RACER以解决半结构化心理健康访谈分析效率低下问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 半结构化访谈 心理健康 大型语言模型 自动化分析 情感分类 主题提取 医疗研究
📋 核心要点
- 现有的半结构化访谈分析方法耗时且劳动强度大，难以提取和分类情感反应，限制了大规模人群的评估。
- 本研究提出RACER，一个基于大型语言模型的自动化分析流程，旨在高效提取访谈中的主题和子主题。
- RACER在分析93名医疗专业人员的访谈时，与人类评估者的协议达到72%，显示出较高的分析效率和准确性。
📝 摘要（中文）
半结构化访谈（SSIs）是医疗研究中常用的数据收集方法，能够深入了解受访者的体验。然而，手动分析SSIs耗时且劳动强度大，尤其在提取和分类情感反应时面临困难。本研究开发了RACER，这是一种基于大型语言模型（LLM）的专家指导自动化流程，能够高效地将原始访谈记录转化为相关主题和子主题。我们使用RACER分析了93名医疗专业人员和实习生的SSIs，以评估COVID-19危机对其个人和职业心理健康的广泛影响。RACER与两位人类评估者的协议达到72%，接近人类评估者间的77%一致性。研究揭示了使用LLM提高研究效率的机遇与挑战，并为医疗研究中的SSIs可扩展分析开辟了新途径。
🔬 方法详解
问题定义：本研究旨在解决半结构化心理健康访谈分析的低效率和高劳动强度问题。现有方法在提取和分类情感反应方面存在困难，难以满足大规模分析的需求。
核心思路：RACER通过结合大型语言模型（LLM）与专家指导，自动化处理访谈记录，能够快速识别和分类主题，减少人工分析的时间和精力消耗。
技术框架：RACER的整体架构包括数据预处理、主题识别、情感分类和结果输出等主要模块。首先对原始访谈记录进行清洗和格式化，然后利用LLM进行主题提取，最后生成结构化的分析报告。
关键创新：RACER的主要创新在于将LLM与专家知识相结合，形成一种高效的自动化分析流程。这一方法在处理复杂情感和心理状态时，展现出与人类评估者相似的分析能力。
关键设计：在RACER中，采用了特定的参数设置和损失函数，以优化主题提取的准确性。此外，网络结构经过精心设计，以确保在处理多样化的情感表达时，能够保持高效和准确的分析能力。
🖼️ 关键图片
📊 实验亮点
RACER在分析93名医疗专业人员的访谈时，与人类评估者的协议达到72%，接近人类评估者间的77%一致性。这表明RACER在情感和心理状态分析方面具有良好的性能，展示了其在提高研究效率方面的潜力。
🎯 应用场景
RACER的研究成果在医疗健康领域具有广泛的应用潜力，尤其是在心理健康研究、患者访谈分析和医疗服务评估等方面。通过提高访谈分析的效率，RACER能够帮助研究人员更快地获取有价值的洞察，推动相关政策和干预措施的制定。未来，该方法还可扩展至其他领域的定性研究，提升数据分析的自动化水平。
📄 摘要（原文）
Semi-structured interviews (SSIs) are a commonly employed data-collection method in healthcare research, offering in-depth qualitative insights into subject experiences. Despite their value, the manual analysis of SSIs is notoriously time-consuming and labor-intensive, in part due to the difficulty of extracting and categorizing emotional responses, and challenges in scaling human evaluation for large populations. In this study, we develop RACER, a Large Language Model (LLM) based expert-guided automated pipeline that efficiently converts raw interview transcripts into insightful domain-relevant themes and sub-themes. We used RACER to analyze SSIs conducted with 93 healthcare professionals and trainees to assess the broad personal and professional mental health impacts of the COVID-19 crisis. RACER achieves moderately high agreement with two human evaluators (72%), which approaches the human inter-rater agreement (77%). Interestingly, LLMs and humans struggle with similar content involving nuanced emotional, ambivalent/dialectical, and psychological statements. Our study highlights the opportunities and challenges in using LLMs to improve research efficiency and opens new avenues for scalable analysis of SSIs in healthcare research.