FoundaBench: Evaluating Chinese Fundamental Knowledge Capabilities of Large Language Models

📄 arXiv: 2404.18359v1 📥 PDF

作者: Wei Li, Ren Ma, Jiang Wu, Chenya Gu, Jiahui Peng, Jinyang Len, Songyang Zhang, Hang Yan, Dahua Lin, Conghui He

分类: cs.CL, cs.AI

发布日期: 2024-04-29

💡 一句话要点

提出FoundaBench以评估中文大语言模型的基础知识能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 中文大语言模型 基础知识评估 FoundaBench 多项选择题 CircularEval 教育技术 自然语言处理

📋 核心要点

  1. 核心问题：现有中文大语言模型在基础知识评估方面缺乏系统性和标准化的基准，导致评估结果不够可靠。
  2. 方法要点：本文提出FoundaBench基准，通过3354道多项选择题全面评估中文LLMs的基础知识能力，采用CircularEval协议减少偏差。
  3. 实验或效果：对12个先进模型的评估结果表明，中文预训练模型表现优越，推理与记忆能力存在显著差异。

📝 摘要（中文）

在快速发展的中文大语言模型（LLMs）领域，基础知识的评估仍然是一个重要挑战。本文提出了FoundaBench，一个旨在严格评估中文LLMs基础知识能力的基准。FoundaBench涵盖了3354道多项选择题，涉及常识和K-12教育科目，精心策划以反映日常和学术知识的广度与深度。我们对12个最先进的LLMs进行了广泛评估，采用传统评估方法和CircularEval协议，以减少模型响应中的潜在偏差。结果显示，基于中文语料库预训练的模型表现优越，并揭示了模型推理与记忆回忆能力之间的显著差异。FoundaBench评估所获得的见解为理解LLMs的基础知识设定了新标准，为未来该领域的进展提供了坚实框架。

🔬 方法详解

问题定义：本文旨在解决中文大语言模型在基础知识评估中的不足，现有方法缺乏系统性和标准化，导致评估结果的可靠性不足。

核心思路：提出FoundaBench基准，设计3354道多项选择题，涵盖常识和K-12教育内容，以全面评估中文LLMs的基础知识能力，并通过CircularEval协议减少评估中的潜在偏差。

技术框架：FoundaBench的整体架构包括题库构建、模型评估和结果分析三个主要模块。题库通过多样化问题设计确保知识覆盖，模型评估采用传统方法和新提出的CircularEval协议。

关键创新：最重要的技术创新在于FoundaBench的设计和CircularEval协议的引入，前者提供了系统化的评估标准，后者有效减少了模型响应中的偏差，提升了评估的公正性。

关键设计：在题库设计中，确保问题的多样性和代表性，采用标准化的评分机制，模型评估时结合传统评估与CircularEval，确保结果的全面性与准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，基于中文语料库预训练的模型在FoundaBench评估中表现优越，推理能力与记忆回忆能力之间存在显著差异。具体而言，某些模型在常识问题上的正确率高达85%，而在学术问题上的表现则相对较低，显示出模型在不同知识领域的能力差异。

🎯 应用场景

该研究的潜在应用领域包括教育技术、智能问答系统和中文自然语言处理等。FoundaBench为评估和提升中文大语言模型的基础知识能力提供了标准化工具，促进了相关技术的发展与应用，未来可能对教育和信息获取产生深远影响。

📄 摘要（原文）

In the burgeoning field of large language models (LLMs), the assessment of fundamental knowledge remains a critical challenge, particularly for models tailored to Chinese language and culture. This paper introduces FoundaBench, a pioneering benchmark designed to rigorously evaluate the fundamental knowledge capabilities of Chinese LLMs. FoundaBench encompasses a diverse array of 3354 multiple-choice questions across common sense and K-12 educational subjects, meticulously curated to reflect the breadth and depth of everyday and academic knowledge. We present an extensive evaluation of 12 state-of-the-art LLMs using FoundaBench, employing both traditional assessment methods and our CircularEval protocol to mitigate potential biases in model responses. Our results highlight the superior performance of models pre-trained on Chinese corpora, and reveal a significant disparity between models' reasoning and memory recall capabilities. The insights gleaned from FoundaBench evaluations set a new standard for understanding the fundamental knowledge of LLMs, providing a robust framework for future advancements in the field.