ArcMMLU: A Library and Information Science Benchmark for Large Language Models

📄 arXiv: 2311.18658v1 📥 PDF

作者: Shitou Zhang, Zuchao Li, Xingshen Liu, Liming Yang, Ping Wang

分类: cs.CL

发布日期: 2023-11-30

💡 一句话要点

提出ArcMMLU以评估大型语言模型在图书馆与信息科学领域的能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 图书馆科学 信息科学 评估基准 知识推理

📋 核心要点

  1. 现有的LLMs评估缺乏针对特定领域的基准，尤其是在中文图书馆与信息科学领域。
  2. 本文提出ArcMMLU基准，通过收集6000多个高质量问题，专注于评估LLMs在LIS领域的知识与推理能力。
  3. 实验结果表明，主流LLMs在ArcMMLU上的平均准确率超过50%，但仍有显著的提升空间，尤其是在某些难题上表现不佳。

📝 摘要（中文）

随着大型语言模型（LLMs）能力的快速发展，开发严格的领域特定评估基准显得尤为重要。为此，本文介绍了ArcMMLU，这是一个专门针对中文图书馆与信息科学（LIS）领域的基准，旨在测量LLMs在档案科学、数据科学、图书馆科学和信息科学四个子领域的知识与推理能力。我们收集了超过6000个高质量问题，反映LIS领域的多样性，为LLM评估提供了坚实基础。评估结果显示，大多数主流LLMs在ArcMMLU上的平均准确率超过50%，但仍存在显著的性能差距，表明LLMs在LIS领域的能力尚有提升空间。

🔬 方法详解

问题定义：本文旨在解决现有大型语言模型在图书馆与信息科学领域评估的不足，特别是缺乏针对性的基准测试。现有方法无法全面反映LLMs在特定领域的知识和推理能力。

核心思路：论文提出ArcMMLU基准，专注于中文LIS领域，设计了涵盖四个子领域的高质量问题集，以便更准确地评估LLMs的能力。通过这种方式，能够更好地反映LLMs在特定领域的表现。

技术框架：ArcMMLU的整体架构包括问题收集、分类和评估三个主要模块。首先，收集与LIS相关的高质量问题；其次，将问题分为档案科学、数据科学、图书馆科学和信息科学四个子领域；最后，通过对主流LLMs的评估，分析其在不同子领域的表现。

关键创新：ArcMMLU的最大创新在于其针对性和系统性，填补了中文LIS领域LLMs评估的空白。与现有的通用评估基准相比，ArcMMLU提供了更具针对性的测试内容，能够更好地反映模型在特定领域的能力。

关键设计：在问题设计上，ArcMMLU确保了问题的多样性和高质量，采用了严格的筛选标准。此外，评估过程中还考虑了少量示例对模型性能的影响，提供了有针对性的改进建议。通过这些设计，ArcMMLU能够有效评估LLMs在LIS领域的知识与推理能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，大多数主流LLMs在ArcMMLU上的平均准确率超过50%，但在某些难题上表现不佳，揭示了LLMs在LIS领域的显著性能差距。这为未来的模型改进提供了重要的方向。

🎯 应用场景

ArcMMLU的研究成果可广泛应用于图书馆与信息科学领域，帮助开发更具针对性的LLMs，提升其在特定领域的应用能力。未来，ArcMMLU将为相关领域的研究提供重要的评估工具，推动LLMs的进一步发展与优化。

📄 摘要（原文）

In light of the rapidly evolving capabilities of large language models (LLMs), it becomes imperative to develop rigorous domain-specific evaluation benchmarks to accurately assess their capabilities. In response to this need, this paper introduces ArcMMLU, a specialized benchmark tailored for the Library & Information Science (LIS) domain in Chinese. This benchmark aims to measure the knowledge and reasoning capability of LLMs within four key sub-domains: Archival Science, Data Science, Library Science, and Information Science. Following the format of MMLU/CMMLU, we collected over 6,000 high-quality questions for the compilation of ArcMMLU. This extensive compilation can reflect the diverse nature of the LIS domain and offer a robust foundation for LLM evaluation. Our comprehensive evaluation reveals that while most mainstream LLMs achieve an average accuracy rate above 50% on ArcMMLU, there remains a notable performance gap, suggesting substantial headroom for refinement in LLM capabilities within the LIS domain. Further analysis explores the effectiveness of few-shot examples on model performance and highlights challenging questions where models consistently underperform, providing valuable insights for targeted improvements. ArcMMLU fills a critical gap in LLM evaluations within the Chinese LIS domain and paves the way for future development of LLMs tailored to this specialized area.