A Computational Framework for Behavioral Assessment of LLM Therapists

📄 arXiv: 2401.00820v2 📥 PDF

作者: Yu Ying Chiu, Ashish Sharma, Inna Wanyin Lin, Tim Althoff

分类: cs.CL, cs.HC

发布日期: 2024-01-01 (更新: 2024-11-28)

💡 一句话要点

提出BOLT框架以系统评估LLM治疗师的行为

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 心理健康 系统评估 对话行为 心理治疗 BOLT框架 动机访谈

📋 核心要点

  1. 现有方法缺乏系统评估，难以准确判断LLM治疗师在心理健康干预中的能力和局限性。
  2. 提出BOLT框架，通过定量测量LLM在多种心理治疗方法中的对话行为，进行系统评估。
  3. 分析结果显示，LLM的行为更接近低质量治疗，需进一步研究以确保提供高质量的心理健康服务。

📝 摘要（中文）

随着大型语言模型（LLMs）如ChatGPT的出现，利用其作为治疗师来应对心理健康挑战的兴趣日益增加。然而，专家强调需要对基于LLM的心理健康干预进行系统评估，以准确评估其能力和局限性。本文提出了BOLT，一个概念验证的计算框架，用于系统评估LLM治疗师的对话行为。我们通过上下文学习方法定量测量LLM在13种心理治疗方法中的行为，并将其与高质量和低质量的人类治疗进行比较。基于动机访谈疗法的分析表明，LLM的行为更像低质量治疗，而非高质量治疗，尤其是在客户分享情感时提供更多问题解决建议。然而，与低质量治疗不同，LLM在反映客户需求和优势方面显著更为积极。我们的研究结果警示，LLM治疗师仍需进一步研究以提供一致的高质量护理。

🔬 方法详解

问题定义：本文旨在解决对LLM治疗师行为的系统评估问题，现有方法未能有效评估其在心理健康干预中的表现和局限性。

核心思路：提出BOLT框架，通过定量分析LLM在多种心理治疗方法中的对话行为，提供一种系统化的评估工具，以便更好地理解LLM的治疗能力。

技术框架：BOLT框架包括数据收集、行为测量、对比分析等主要模块，采用上下文学习方法对LLM的对话进行定量评估，并与人类治疗进行比较。

关键创新：BOLT框架的创新在于系统性地评估LLM的对话行为，并首次将其与高低质量人类治疗进行对比，揭示了LLM在心理治疗中的潜在不足与优势。

关键设计：在实验中，采用了多种心理治疗方法的对话数据，设置了特定的评估指标，使用了定量分析方法来衡量LLM的行为特征与人类治疗的差异。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，LLM在提供问题解决建议时的行为更接近低质量治疗，尤其是在客户表达情感时。然而，LLM在反映客户需求和优势方面表现出显著的积极性。这些发现强调了LLM治疗师在提供一致高质量护理方面的研究必要性。

🎯 应用场景

该研究的潜在应用领域包括心理健康干预、在线心理咨询和智能治疗系统等。BOLT框架能够为未来LLM在心理健康领域的应用提供系统评估依据，帮助提升其服务质量，促进更广泛的心理健康服务可及性。

📄 摘要（原文）

The emergence of large language models (LLMs) like ChatGPT has increased interest in their use as therapists to address mental health challenges and the widespread lack of access to care. However, experts have emphasized the critical need for systematic evaluation of LLM-based mental health interventions to accurately assess their capabilities and limitations. Here, we propose BOLT, a proof-of-concept computational framework to systematically assess the conversational behavior of LLM therapists. We quantitatively measure LLM behavior across 13 psychotherapeutic approaches with in-context learning methods. Then, we compare the behavior of LLMs against high- and low-quality human therapy. Our analysis based on Motivational Interviewing therapy reveals that LLMs often resemble behaviors more commonly exhibited in low-quality therapy rather than high-quality therapy, such as offering a higher degree of problem-solving advice when clients share emotions. However, unlike low-quality therapy, LLMs reflect significantly more upon clients' needs and strengths. Our findings caution that LLM therapists still require further research for consistent, high-quality care.