Is ChatGPT More Empathetic than Humans?

📄 arXiv: 2403.05572v1 📥 PDF

作者: Anuradha Welivita, Pearl Pu

分类: cs.HC, cs.AI, cs.CL

发布日期: 2024-02-22

备注: 21 pages, 16 figures

💡 一句话要点

评估ChatGPT的同理心能力，超越人类响应

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 同理心评估 ChatGPT 情感响应 大型语言模型 人机交互 心理健康支持 客户服务

📋 核心要点

  1. 现有方法在评估语言模型的同理心能力时缺乏系统性，难以比较不同模型的表现。
  2. 论文提出了一种新的评估框架，通过对ChatGPT的响应进行系统性分析，明确同理心的认知、情感和关怀维度。
  3. 实验结果表明，ChatGPT的同理心评分比人类高出10%，并且在明确指导下，响应更符合高同理心个体的期望。

📝 摘要（中文）

本论文研究了ChatGPT，特别是其最新版本GPT-4，在多种情感场景下的同理心响应能力，并与人类生成的响应进行了比较。我们采用了严格的评估方法，通过600名参与者的组间研究，评估人类与ChatGPT生成的响应的同理心水平。结果显示，ChatGPT的平均同理心评分比人类高出约10%。此外，明确指导ChatGPT理解同理心的响应，使其与高同理心个体的期望更为一致，提升了约5倍。所提出的评估框架为评估大型语言模型的同理心能力提供了可扩展和适应性强的工具，未来研究无需重复当前研究的结果。

🔬 方法详解

问题定义：本研究旨在评估ChatGPT在情感场景中的同理心能力，现有方法缺乏对比性和系统性，难以有效评估不同模型的同理心表现。

核心思路：通过设计两种不同的提示方式来引导ChatGPT生成响应，一种为标准提示，另一种则明确强调同理心的认知和情感维度，从而提升其同理心表现。

技术框架：研究采用组间实验设计，600名参与者被分为两组，分别评估人类和ChatGPT生成的响应。评估指标包括同理心评分和与高同理心个体期望的对比。

关键创新：本研究的创新点在于提出了一种可扩展的评估框架，能够适用于不同版本的大型语言模型，解决了以往研究中缺乏系统性的问题。

关键设计：在实验中，ChatGPT的提示设计考虑了同理心的多维度特征，评估过程中采用了标准化的评分系统，以确保结果的可靠性和有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，ChatGPT的同理心评分比人类高出约10%。在明确指导同理心的情况下，ChatGPT的响应与高同理心个体的期望一致性提升了约5倍。这些结果表明，ChatGPT在情感响应方面具有显著优势，尤其是在经过针对性训练后。

🎯 应用场景

该研究的潜在应用领域包括心理健康支持、客户服务和教育等领域。通过提升语言模型的同理心能力，可以改善人机交互体验，提供更具人性化的响应，进而增强用户满意度和信任感。未来，随着技术的进步，该评估框架可用于不断更新的语言模型，推动更具同理心的AI系统的发展。

📄 摘要（原文）

This paper investigates the empathetic responding capabilities of ChatGPT, particularly its latest iteration, GPT-4, in comparison to human-generated responses to a wide range of emotional scenarios, both positive and negative. We employ a rigorous evaluation methodology, involving a between-groups study with 600 participants, to evaluate the level of empathy in responses generated by humans and ChatGPT. ChatGPT is prompted in two distinct ways: a standard approach and one explicitly detailing empathy's cognitive, affective, and compassionate counterparts. Our findings indicate that the average empathy rating of responses generated by ChatGPT exceeds those crafted by humans by approximately 10%. Additionally, instructing ChatGPT to incorporate a clear understanding of empathy in its responses makes the responses align approximately 5 times more closely with the expectations of individuals possessing a high degree of empathy, compared to human responses. The proposed evaluation framework serves as a scalable and adaptable framework to assess the empathetic capabilities of newer and updated versions of large language models, eliminating the need to replicate the current study's results in future research.