ConceptPsy:A Benchmark Suite with Conceptual Comprehensiveness in Psychology

📄 arXiv: 2311.09861v4 📥 PDF

作者: Junlei Zhang, Hongliang He, Nirui Song, Zhanchao Zhou, Shuyuan He, Shuai Zhang, Huachuan Qiu, Anqi Li, Yong Dai, Lizhi Ma, Zhenzhong Lan

分类: cs.CL, cs.AI

发布日期: 2023-11-16 (更新: 2024-06-16)

备注: Under Review

💡 一句话要点

提出ConceptPsy以解决心理学领域评估不足的问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 心理学评估 大型语言模型 概念抽样 问题生成 性能评估

📋 核心要点

  1. 现有的心理学评估基准在问题数量和概念覆盖上存在不足，无法满足心理学领域的深度需求。
  2. 本文提出ConceptPsy，通过手动收集概念并利用GPT-4生成问题，系统性地评估心理学知识。
  3. 实验结果显示，尽管某些LLMs在整体表现上相似，但在不同心理学概念上的表现差异显著，揭示了模型的潜在弱点。

📝 摘要（中文）

心理学领域亟需一个全面的基准，以提升特定领域大型语言模型（LLMs）的评估与发展。现有的MMLU类型基准，如C-EVAL和CMMLU，虽然涵盖了心理学相关主题，但由于问题数量有限且缺乏系统的概念抽样策略，无法全面覆盖心理学所需的概念。因此，这些基准在心理学领域的深度不足，无法作为心理学特定的评估工具。为了解决这一问题，本文提出了ConceptPsy，旨在评估中文复杂推理和心理学知识能力。ConceptPsy包括12个核心主题和1383个手动收集的概念，并通过GPT-4生成问题，经过专业心理学家的审核。我们希望本研究能够促进心理学领域LLMs的发展。

🔬 方法详解

问题定义：本文旨在解决现有心理学评估基准在问题数量和概念覆盖上的不足，导致无法全面评估心理学领域的知识能力。

核心思路：通过构建ConceptPsy基准，系统性地收集心理学概念，并利用GPT-4生成多样化的问题，以提高评估的全面性和深度。

技术框架：整体架构包括概念收集、问题生成、专家审核和性能评估四个主要模块。首先手动收集心理学概念，然后使用GPT-4生成问题，最后由专业心理学家审核问题的有效性。

关键创新：ConceptPsy的核心创新在于其系统化的概念抽样和问题生成方法，显著提高了心理学领域评估的深度和广度，与现有基准相比具有更强的针对性和实用性。

关键设计：在问题生成过程中，设计了多样化的提示语以引导GPT-4生成高质量问题，并对每个问题进行了章节标签注释，以便于分析和评估模型的表现。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，尽管某些大型语言模型在整体表现上相似，但在不同心理学概念上的准确率差异显著，揭示了模型在特定领域的潜在弱点。这一发现为后续模型的改进提供了重要依据。

🎯 应用场景

ConceptPsy的研究成果可广泛应用于心理学领域的教育、临床评估和研究等多个场景，帮助开发更具针对性的语言模型，提升心理学知识的评估和应用效率。未来，该基准有望推动心理学相关LLMs的进一步发展与优化。

📄 摘要（原文）

The critical field of psychology necessitates a comprehensive benchmark to enhance the evaluation and development of domain-specific Large Language Models (LLMs). Existing MMLU-type benchmarks, such as C-EVAL and CMMLU, include psychology-related subjects, but their limited number of questions and lack of systematic concept sampling strategies mean they cannot cover the concepts required in psychology. Consequently, despite their broad subject coverage, these benchmarks lack the necessary depth in the psychology domain, making them inadequate as psychology-specific evaluation suite. To address this issue, this paper presents ConceptPsy, designed to evaluate Chinese complex reasoning and knowledge abilities in psychology. ConceptPsy includes 12 core subjects and 1383 manually collected concepts. Specifically, we prompt GPT-4 to generate questions for each concept using carefully designed diverse prompts and hire professional psychologists to review these questions. To help to understand the fine-grained performances and enhance the weaknesses, we annotate each question with a chapter label and provide chapter-wise accuracy. Based on ConceptPsy, we evaluate a broad range of LLMs. We observe that, although some LLMs achieve similar accuracies on overall performances, they exhibit significant performance variations across different psychology concepts, even when they are models from the same series. We hope our work can facilitate the development of LLMs in the field of psychology.