ERD: A Framework for Improving LLM Reasoning for Cognitive Distortion Classification

📄 arXiv: 2403.14255v1 📥 PDF

作者: Sehee Lim, Yejin Kim, Chi-Hyun Choi, Jy-yong Sohn, Byung-Hoon Kim

分类: cs.CL, cs.LG

发布日期: 2024-03-21

💡 一句话要点

提出ERD框架以提升LLM在认知扭曲分类中的推理能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 认知扭曲 心理治疗 多代理辩论 分类性能 深度学习

📋 核心要点

  1. 现有方法在识别认知扭曲时存在高假阳性率，影响分类性能。
  2. ERD框架通过提取相关信息和多代理辩论来增强LLM的推理能力。
  3. 实验结果表明，ERD显著提高了多类F1分数和二元特异性分数。

📝 摘要（中文）

近年来，利用大型语言模型（LLMs）提高心理治疗的可及性受到广泛关注。识别访谈者的言语中的认知扭曲是心理治疗，尤其是认知行为疗法中的重要环节。本文提出ERD框架，通过额外模块（1）提取与认知扭曲相关的部分，以及（2）通过多个代理进行推理步骤的辩论，来提升基于LLM的认知扭曲分类性能。我们的实验结果显示，ERD在公共数据集上提高了多类F1分数和二元特异性分数，尤其在提供多代理辩论总结给LLMs时，有效减少了基线方法的高假阳性率。

🔬 方法详解

问题定义：本文旨在解决现有LLM在认知扭曲分类中存在的高假阳性率和推理能力不足的问题。现有方法在处理复杂的心理治疗对话时，往往无法准确识别出访谈者的认知扭曲。

核心思路：ERD框架的核心思想是通过引入额外模块来增强LLM的推理能力，具体包括提取与认知扭曲相关的部分信息，以及通过多个代理进行推理步骤的辩论，以提高分类的准确性。

技术框架：ERD框架主要包含两个模块：第一模块负责提取与认知扭曲相关的言语部分，第二模块则通过多个代理进行辩论，形成对推理过程的总结，最终将这些信息反馈给LLM进行分类。

关键创新：ERD的主要创新在于引入了多代理辩论机制，这一机制能够有效减少LLM在分类过程中的偏差，尤其是在处理复杂对话时，显著降低假阳性率。

关键设计：在设计上，ERD框架采用了特定的损失函数来优化分类性能，并在网络结构上进行了调整，以适应提取和辩论模块的需求。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，ERD框架在公共数据集上的多类F1分数显著提高，二元特异性分数也有所提升，尤其是在提供多代理辩论总结时，能够有效降低基线方法的假阳性率。这表明ERD在认知扭曲分类任务中具有显著的性能优势。

🎯 应用场景

该研究的潜在应用领域包括心理治疗、心理健康评估及相关的人工智能辅助工具。通过提升LLM在认知扭曲识别中的准确性，ERD框架能够帮助心理治疗师更好地理解患者的思维模式，从而提供更有效的治疗方案，具有重要的实际价值和未来影响。

📄 摘要（原文）

Improving the accessibility of psychotherapy with the aid of Large Language Models (LLMs) is garnering a significant attention in recent years. Recognizing cognitive distortions from the interviewee's utterances can be an essential part of psychotherapy, especially for cognitive behavioral therapy. In this paper, we propose ERD, which improves LLM-based cognitive distortion classification performance with the aid of additional modules of (1) extracting the parts related to cognitive distortion, and (2) debating the reasoning steps by multiple agents. Our experimental results on a public dataset show that ERD improves the multi-class F1 score as well as binary specificity score. Regarding the latter score, it turns out that our method is effective in debiasing the baseline method which has high false positive rate, especially when the summary of multi-agent debate is provided to LLMs.