Exploring the Efficacy of Large Language Models in Summarizing Mental Health Counseling Sessions: A Benchmark Study

📄 arXiv: 2402.19052v1 📥 PDF

作者: Prottay Kumar Adhikary, Aseem Srivastava, Shivani Kumar, Salam Michael Singh, Puneet Manuja, Jini K Gopinath, Vijay Krishnan, Swati Kedia, Koushik Sinha Deb, Tanmoy Chakraborty

分类: cs.CL, cs.HC

发布日期: 2024-02-29

💡 一句话要点

提出MentalCLOUDS以解决心理健康咨询会话总结问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 心理健康 大型语言模型 会话总结 自动化技术 数据集构建

📋 核心要点

  1. 现有的手动总结方法在心理健康咨询中效率低下，难以保证信息的完整性和准确性。
  2. 本研究提出MentalCLOUDS数据集，并利用先进的LLMs进行组件引导的总结，旨在提高总结的质量和效率。
  3. 实验结果表明，Mistral模型在多个评估指标上表现优异，尤其在专家评估中显示出更高的有效性和一致性。

📝 摘要（中文）

全面的咨询会话总结能够有效促进心理健康咨询的连续性，帮助制定知情的治疗计划。然而，手动总结存在显著挑战，分散了专家对核心咨询过程的注意力。本研究评估了最先进的大型语言模型（LLMs）在选择性总结心理治疗会话各个组成部分方面的有效性，旨在基准测试其性能。我们引入了MentalCLOUDS，一个包含191个咨询会话的总结数据集，重点关注三个不同的咨询组成部分。此外，我们评估了11个最先进的LLMs在组件引导总结任务中的能力。生成的总结通过标准总结指标进行定量评估，并由心理健康专业人士进行定性验证。研究结果表明，任务特定的LLMs如MentalLlama、Mistral和MentalBART在所有咨询组成部分的标准定量指标（如Rouge-1、Rouge-2、Rouge-L和BERTScore）上表现优越。专家评估显示，Mistral在情感态度、负担、伦理性、一致性、机会成本和感知有效性六个参数上超越了MentalLlama和MentalBART。然而，这些模型在机会成本和感知有效性指标上仍有改进空间。

🔬 方法详解

问题定义：本研究旨在解决心理健康咨询会话总结的效率和准确性问题。现有的手动总结方法不仅耗时，而且容易导致信息遗漏，影响治疗效果。

核心思路：论文提出利用大型语言模型（LLMs）进行组件引导的总结，旨在通过自动化技术提高总结的质量和效率，减轻心理健康专家的负担。

技术框架：整体架构包括数据集构建、模型选择、总结生成和评估四个主要模块。首先构建MentalCLOUDS数据集，然后选择11个最先进的LLMs进行训练和测试，最后通过定量和定性方法评估生成的总结。

关键创新：最重要的技术创新在于引入了组件引导的总结方法，针对心理健康咨询的特定需求进行优化，与传统的通用总结方法形成鲜明对比。

关键设计：在模型选择上，重点评估了Mistral、MentalLlama和MentalBART等任务特定模型，并使用Rouge和BERTScore等标准指标进行性能评估，同时结合心理健康专家的定性反馈进行综合分析。

📊 实验亮点

实验结果显示，Mistral模型在Rouge-1、Rouge-2、Rouge-L和BERTScore等标准指标上表现优越，超越了MentalLlama和MentalBART。此外，专家评估表明Mistral在情感态度、负担、伦理性等六个参数上均表现出色，显示出显著的有效性提升。

🎯 应用场景

该研究的潜在应用领域包括心理健康咨询、临床治疗记录和医疗数据管理。通过提高会话总结的效率和准确性，可以帮助心理健康专业人士更好地制定治疗计划，提升患者的治疗体验和效果。未来，该技术有望扩展到其他医疗领域，促进医疗信息的智能化管理。

📄 摘要（原文）

Comprehensive summaries of sessions enable an effective continuity in mental health counseling, facilitating informed therapy planning. Yet, manual summarization presents a significant challenge, diverting experts' attention from the core counseling process. This study evaluates the effectiveness of state-of-the-art Large Language Models (LLMs) in selectively summarizing various components of therapy sessions through aspect-based summarization, aiming to benchmark their performance. We introduce MentalCLOUDS, a counseling-component guided summarization dataset consisting of 191 counseling sessions with summaries focused on three distinct counseling components (aka counseling aspects). Additionally, we assess the capabilities of 11 state-of-the-art LLMs in addressing the task of component-guided summarization in counseling. The generated summaries are evaluated quantitatively using standard summarization metrics and verified qualitatively by mental health professionals. Our findings demonstrate the superior performance of task-specific LLMs such as MentalLlama, Mistral, and MentalBART in terms of standard quantitative metrics such as Rouge-1, Rouge-2, Rouge-L, and BERTScore across all aspects of counseling components. Further, expert evaluation reveals that Mistral supersedes both MentalLlama and MentalBART based on six parameters -- affective attitude, burden, ethicality, coherence, opportunity costs, and perceived effectiveness. However, these models share the same weakness by demonstrating a potential for improvement in the opportunity costs and perceived effectiveness metrics.