Can Large Language Models be Used to Provide Psychological Counselling? An Analysis of GPT-4-Generated Responses Using Role-play Dialogues

📄 arXiv: 2402.12738v1 📥 PDF

作者: Michimasa Inaba, Mariko Ukiyo, Keiko Takamizo

分类: cs.CL, cs.AI, cs.HC

发布日期: 2024-02-20

备注: Accepted as a conference paper at IWSDS 2024

💡 一句话要点

利用GPT-4生成心理咨询对话以应对心理健康挑战

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 心理健康 对话系统 大型语言模型 GPT-4 角色扮演 咨询服务 人工智能

📋 核心要点

  1. 心理健康护理面临的挑战日益严重，现有的咨询对话系统评估不足，亟需改进。
  2. 本研究通过角色扮演场景收集数据，并对咨询师的意图进行标注，以评估GPT-4的表现。
  3. 实验结果表明，GPT-4生成的回应在适当性上与人类咨询师的回应相当，显示出良好的应用潜力。

📝 摘要（中文）

心理健康护理在现代社会中日益成为一个严峻的挑战。为此，越来越多的研究开始利用信息技术来解决心理健康问题，包括开发咨询对话系统。然而，目前对使用大型语言模型的咨询对话系统的性能评估仍显不足。本研究通过角色扮演场景收集咨询对话数据，并对专家咨询师的发言进行了意图标注。为评估对话系统在实际咨询场景中的可行性，第三方咨询师对人类咨询师与GPT-4在相同情境下生成的回应进行了评估。分析结果显示，GPT-4生成的回应与人类咨询师的回应具有竞争力。

🔬 方法详解

问题定义：本研究旨在解决心理咨询对话系统在实际应用中的有效性评估问题。现有方法缺乏对大型语言模型在心理咨询中的性能评估，导致其应用潜力未被充分挖掘。

核心思路：本研究通过角色扮演的方式收集咨询对话数据，并对专家咨询师的发言进行意图标注，以便与GPT-4生成的回应进行比较，从而评估其在实际咨询场景中的适用性。

技术框架：整体流程包括数据收集、意图标注、生成对话、以及第三方评估。数据收集阶段通过角色扮演获取真实的咨询对话，意图标注则帮助理解咨询师的回应意图。

关键创新：本研究的创新点在于将大型语言模型（GPT-4）与人类咨询师的回应进行直接比较，首次系统性地评估了其在心理咨询中的应用潜力。

关键设计：在实验中，使用了标准化的评估指标来衡量回应的适当性，确保了评估结果的客观性和可靠性。

📊 实验亮点

实验结果显示，GPT-4生成的回应在适当性评估中与人类咨询师的回应相当，表明其在心理咨询场景中的应用潜力。具体而言，GPT-4的回应在多个评估维度上表现出竞争力，显示出其作为辅助工具的可行性。

🎯 应用场景

该研究的潜在应用领域包括心理健康咨询、在线心理治疗平台和智能客服系统。通过将大型语言模型应用于心理咨询，可以提高咨询服务的可及性和效率，尤其是在资源匮乏的地区。此外，未来可能推动心理健康领域的技术创新与发展。

📄 摘要（原文）

Mental health care poses an increasingly serious challenge to modern societies. In this context, there has been a surge in research that utilizes information technologies to address mental health problems, including those aiming to develop counseling dialogue systems. However, there is a need for more evaluations of the performance of counseling dialogue systems that use large language models. For this study, we collected counseling dialogue data via role-playing scenarios involving expert counselors, and the utterances were annotated with the intentions of the counselors. To determine the feasibility of a dialogue system in real-world counseling scenarios, third-party counselors evaluated the appropriateness of responses from human counselors and those generated by GPT-4 in identical contexts in role-play dialogue data. Analysis of the evaluation results showed that the responses generated by GPT-4 were competitive with those of human counselors.