E-EVAL: A Comprehensive Chinese K-12 Education Evaluation Benchmark for Large Language Models

📄 arXiv: 2401.15927v1 📥 PDF

作者: Jinchang Hou, Chang Ao, Haihong Wu, Xiangtao Kong, Zhigang Zheng, Daijia Tang, Chengming Li, Xiping Hu, Ruifeng Xu, Shiwen Ni, Min Yang

分类: cs.CL

发布日期: 2024-01-29

💡 一句话要点

提出E-EVAL以解决中国K-12教育领域缺乏评估基准的问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 教育评估 K-12教育 自然语言处理 中文主导模型 链式思维 少量示例提示 多学科评估

📋 核心要点

  1. 当前缺乏针对中国K-12教育领域的评估基准，无法准确评估LLMs的能力。
  2. 提出E-EVAL基准，包含多学科的选择题，旨在全面评估LLMs在教育领域的表现。
  3. 实验结果显示，中文主导模型在某些学科上表现优异，但在数学等复杂学科上普遍较差。

📝 摘要（中文）

随着大型语言模型（LLMs）的快速发展，越来越多的LLMs开始应用于中国K-12教育领域。然而，目前尚缺乏专门针对该领域的评估基准。为此，本文提出了E-EVAL，这是第一个专为中国K-12教育设计的综合评估基准，包含4,351道涵盖多学科的选择题。通过对先进LLMs的评估，发现中文主导模型在表现上优于英文主导模型，但在复杂学科如数学上普遍表现不佳。研究还表明，链式思维技术在科学学科中有效，而少量示例提示更适合人文学科。E-EVAL旨在分析LLMs在教育应用中的优缺点，推动中国K-12教育和LLMs的发展。

🔬 方法详解

问题定义：本文旨在解决中国K-12教育领域缺乏针对大型语言模型的评估基准的问题。现有方法无法准确评估模型在教育应用中的能力，尤其是在多学科的表现上存在不足。

核心思路：论文提出E-EVAL基准，包含4,351道选择题，覆盖小学、中学和高中各个学科，旨在为教育领域的LLMs提供一个全面的评估工具。通过这一基准，可以更好地分析和比较不同模型的表现。

技术框架：E-EVAL的整体架构包括题库构建、模型评估和结果分析三个主要模块。题库涵盖多个学科，模型评估则通过对比不同LLMs在这些题目上的表现来进行。

关键创新：E-EVAL是首个专为中国K-12教育设计的评估基准，填补了现有评估工具的空白。与传统评估方法不同，E-EVAL不仅关注模型的整体表现，还深入分析其在不同学科和知识层次上的能力。

关键设计：在设计E-EVAL时，选择了多种学科的题目，确保题目的多样性和代表性。评估过程中，采用了多种模型，包括中文主导和英文主导的LLMs，以便进行全面的对比分析。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，中文主导模型在多个学科上表现优于英文主导模型，部分模型的得分甚至超过了GPT 4.0。然而，在复杂学科如数学上，几乎所有模型的表现均较差，显示出在高阶知识掌握与低阶知识掌握之间的差异。

🎯 应用场景

E-EVAL的潜在应用场景包括教育技术、智能辅导系统和个性化学习平台。通过对LLMs的评估，教育工作者可以更好地选择和应用适合的模型，提升教学效果。此外，E-EVAL的研究成果也有助于推动中国K-12教育的数字化转型和智能化发展。

📄 摘要（原文）

With the accelerating development of Large Language Models (LLMs), many LLMs are beginning to be used in the Chinese K-12 education domain. The integration of LLMs and education is getting closer and closer, however, there is currently no benchmark for evaluating LLMs that focuses on the Chinese K-12 education domain. Therefore, there is an urgent need for a comprehensive natural language processing benchmark to accurately assess the capabilities of various LLMs in the Chinese K-12 education domain. To address this, we introduce the E-EVAL, the first comprehensive evaluation benchmark specifically designed for the Chinese K-12 education field. The E-EVAL consists of 4,351 multiple-choice questions at the primary, middle, and high school levels across a wide range of subjects, including Chinese, English, Politics, History, Ethics, Physics, Chemistry, Mathematics, and Geography. We conducted a comprehensive evaluation of E-EVAL on advanced LLMs, including both English-dominant and Chinese-dominant models. Findings show that Chinese-dominant models perform well compared to English-dominant models, with many scoring even above the GPT 4.0. However, almost all models perform poorly in complex subjects such as mathematics. We also found that most Chinese-dominant LLMs did not achieve higher scores at the primary school level compared to the middle school level. We observe that the mastery of higher-order knowledge by the model does not necessarily imply the mastery of lower-order knowledge as well. Additionally, the experimental results indicate that the Chain of Thought (CoT) technique is effective only for the challenging science subjects, while Few-shot prompting is more beneficial for liberal arts subjects. With E-EVAL, we aim to analyze the strengths and limitations of LLMs in educational applications, and to contribute to the progress and development of Chinese K-12 education and LLMs.