LHMKE: A Large-scale Holistic Multi-subject Knowledge Evaluation Benchmark for Chinese Large Language Models

📄 arXiv: 2403.12601v1 📥 PDF

作者: Chuang Liu, Renren Jin, Yuqi Ren, Deyi Xiong

分类: cs.CL

发布日期: 2024-03-19

备注: Accepted by LREC-COLING 2024

💡 一句话要点

提出LHMKE以解决中文大语言模型知识评估不足问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 知识评估 中文大语言模型 多学科 主观问题 客观问题 自然语言处理 教育技术

📋 核心要点

  1. 现有的中文大语言模型评估基准主要集中于客观题，缺乏多样性，无法全面反映模型的知识水平。
  2. 本文提出LHMKE基准，设计了包括客观和主观问题的知识评估，涵盖多个学科，旨在提供更全面的评估。
  3. 通过对11个中文大语言模型的零-shot评估，发现LHMKE能够有效区分模型在不同学科的表现，具有较高的挑战性。

📝 摘要（中文）

中文大语言模型（LLMs）在各种自然语言处理基准和实际应用中展现了令人印象深刻的能力。然而，现有的评估基准在全面评估这些LLMs的知识捕获能力方面仍显不足，尤其是在问题类型的多样性上。为了解决这一问题，本文提出了LHMKE，一个大规模、整体性和多学科的知识评估基准。LHMKE包含10,465个问题，涵盖30个学科的75个任务，涉及从小学到职业认证考试的知识评估。值得注意的是，LHMKE包括客观和主观问题，提供了对LLMs知识水平的更全面评估。我们在零-shot设置下评估了11个中文LLMs，并比较了它们在不同学科的表现，发现LHMKE是一个具有挑战性和先进性的测试平台。

🔬 方法详解

问题定义：本文旨在解决现有中文大语言模型评估基准在知识捕获能力评估上的不足，尤其是缺乏多样化问题类型的问题。

核心思路：LHMKE基准通过整合客观和主观问题，涵盖多个学科，提供全面的知识评估，旨在更好地反映模型的知识水平。

技术框架：LHMKE的整体架构包括问题设计、数据收集和模型评估三个主要模块。问题设计阶段涵盖了不同学科的知识点，数据收集则从各类考试中提取问题，最后通过评估模块对模型进行性能测试。

关键创新：LHMKE的主要创新在于其综合性和多样性，首次将主观问题纳入中文大语言模型的评估中，与现有基准相比，提供了更全面的评估视角。

关键设计：在设计过程中，LHMKE设置了多样化的问题类型，并采用了适应性评分机制，以便更好地评估主观问题的答案质量。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在对11个中文大语言模型的评估中，LHMKE展示了其有效性，能够清晰区分模型在不同学科的表现。实验结果表明，LHMKE不仅提升了评估的全面性，还为模型的知识水平提供了更具挑战性的测试环境。

🎯 应用场景

LHMKE基准的提出为中文大语言模型的评估提供了新的标准，具有广泛的应用潜力。它可以用于教育领域的智能评测、知识管理系统的开发，以及大语言模型在实际应用中的能力验证，推动相关技术的进步与应用。

📄 摘要（原文）

Chinese Large Language Models (LLMs) have recently demonstrated impressive capabilities across various NLP benchmarks and real-world applications. However, the existing benchmarks for comprehensively evaluating these LLMs are still insufficient, particularly in terms of measuring knowledge that LLMs capture. Current datasets collect questions from Chinese examinations across different subjects and educational levels to address this issue. Yet, these benchmarks primarily focus on objective questions such as multiple-choice questions, leading to a lack of diversity in question types. To tackle this problem, we propose LHMKE, a Large-scale, Holistic, and Multi-subject Knowledge Evaluation benchmark in this paper. LHMKE is designed to provide a comprehensive evaluation of the knowledge acquisition capabilities of Chinese LLMs. It encompasses 10,465 questions across 75 tasks covering 30 subjects, ranging from primary school to professional certification exams. Notably, LHMKE includes both objective and subjective questions, offering a more holistic evaluation of the knowledge level of LLMs. We have assessed 11 Chinese LLMs under the zero-shot setting, which aligns with real examinations, and compared their performance across different subjects. We also conduct an in-depth analysis to check whether GPT-4 can automatically score subjective predictions. Our findings suggest that LHMKE is a challenging and advanced testbed for Chinese LLMs.