Response Generation for Cognitive Behavioral Therapy with Large Language Models: Comparative Study with Socratic Questioning

📄 arXiv: 2401.15966v1 📥 PDF

作者: Kenta Izumi, Hiroki Tanaka, Kazuhiro Shidara, Hiroyoshi Adachi, Daisuke Kanayama, Takashi Kudo, Satoshi Nakamura

分类: cs.CL, cs.AI

发布日期: 2024-01-29

备注: Accepted by IWSDS2024

💡 一句话要点

利用大型语言模型提升认知行为疗法对话生成效果

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 认知行为疗法 大型语言模型 对话系统 情感支持 心理健康应用

📋 核心要点

  1. 现有的心理健康应用程序多依赖于预定义或基于规则的对话系统，缺乏灵活性和适应性。
  2. 本研究提出利用大型语言模型（LLM）生成与上下文相关的对话响应，以提升认知行为疗法的效果。
  3. 实验结果显示，使用GPT-4模型时，用户的情绪变化和对话质量显著提高，而OsakaED模型未见明显改善。

📝 摘要（中文）

本研究探讨了基于认知行为疗法（CBT）场景的对话系统，重点使用传统的苏格拉底提问法，并比较了两种大型语言模型（LLM）的生成效果。通过构建对话模块，研究了使用LLM生成的响应对用户情绪变化、认知变化和对话质量的影响。结果表明，使用GPT-4模型时，用户的情绪变化、同理心等对话质量显著提升，而使用基于社交媒体的OsakaED模型并未观察到显著改善。这表明GPT-4在咨询能力方面表现出色，但即使是经过人类咨询数据集训练的对话模型，效果也不一定优于基于场景的对话。尽管在实际心理健康服务中使用LLM生成的响应可能引发伦理问题，但人类专业人士仍可利用LLM提前生成示例响应或响应模板。

🔬 方法详解

问题定义：本研究旨在解决现有心理健康对话系统在响应生成上的局限性，特别是缺乏灵活性和个性化的问题。现有方法多依赖于固定的规则和场景，难以适应用户的多样化需求。

核心思路：论文的核心思路是利用大型语言模型（LLM），特别是GPT-4，生成更具上下文相关性的对话响应，从而提升用户体验和对话质量。通过与传统的对话模型进行比较，验证LLM在情感支持和咨询中的有效性。

技术框架：整体架构包括两个主要模块：一是基于OsakaED数据集训练的Transformer对话模型，二是GPT-4模型。研究通过对比这两种模型生成的响应，评估其对用户情绪和对话质量的影响。

关键创新：本研究的关键创新在于首次将GPT-4应用于认知行为疗法的对话生成中，并通过实证研究验证其在情感支持方面的优越性。这与传统基于规则的对话系统形成鲜明对比。

关键设计：在模型训练中，采用了社交媒体的同理心咨询数据集，并对GPT-4的响应进行细致调优，以确保生成内容的相关性和适应性。实验中评估了情绪变化、同理心和对话质量等多个维度。

📊 实验亮点

实验结果显示，使用GPT-4模型时，用户的情绪变化、同理心和对话质量等指标显著提高，具体提升幅度未知。而使用OsakaED模型时未观察到显著改善。这表明GPT-4在心理咨询中的应用潜力巨大，能够有效提升用户体验。

🎯 应用场景

该研究的潜在应用领域包括心理健康应用程序、在线咨询服务和情感支持系统。通过引入大型语言模型，能够为用户提供更为个性化和有效的心理支持，提升用户的整体体验和满意度。未来，随着技术的进步，LLM在心理健康领域的应用将更加广泛，可能会改变传统咨询的方式。

📄 摘要（原文）

Dialogue systems controlled by predefined or rule-based scenarios derived from counseling techniques, such as cognitive behavioral therapy (CBT), play an important role in mental health apps. Despite the need for responsible responses, it is conceivable that using the newly emerging LLMs to generate contextually relevant utterances will enhance these apps. In this study, we construct dialogue modules based on a CBT scenario focused on conventional Socratic questioning using two kinds of LLMs: a Transformer-based dialogue model further trained with a social media empathetic counseling dataset, provided by Osaka Prefecture (OsakaED), and GPT-4, a state-of-the art LLM created by OpenAI. By comparing systems that use LLM-generated responses with those that do not, we investigate the impact of generated responses on subjective evaluations such as mood change, cognitive change, and dialogue quality (e.g., empathy). As a result, no notable improvements are observed when using the OsakaED model. When using GPT-4, the amount of mood change, empathy, and other dialogue qualities improve significantly. Results suggest that GPT-4 possesses a high counseling ability. However, they also indicate that even when using a dialogue model trained with a human counseling dataset, it does not necessarily yield better outcomes compared to scenario-based dialogues. While presenting LLM-generated responses, including GPT-4, and having them interact directly with users in real-life mental health care services may raise ethical issues, it is still possible for human professionals to produce example responses or response templates using LLMs in advance in systems that use rules, scenarios, or example responses.