Khayyam Challenge (PersianMMLU): Is Your LLM Truly Wise to The Persian Language?

📄 arXiv: 2404.06644v1 📥 PDF

作者: Omid Ghahroodi, Marzia Nouri, Mohammad Vali Sanian, Alireza Sahebi, Doratossadat Dastgheib, Ehsaneddin Asgari, Mahdieh Soleymani Baghshah, Mohammad Hossein Rohban

分类: cs.CL, cs.AI

发布日期: 2024-04-09

💡 一句话要点

提出Khayyam Challenge以评估波斯语大型语言模型的能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 波斯语 大型语言模型 评估框架 教育评估 自然语言处理 机器学习 数据集

📋 核心要点

  1. 现有的LLMs评估方法在非英语语言上存在不足，尤其是波斯语的评估缺乏系统性和全面性。
  2. Khayyam Challenge通过提供一个包含多样化任务和丰富元数据的问答集，解决了波斯语LLMs评估的需求。
  3. 实验结果显示，Khayyam Challenge能够有效评估多种波斯语LLMs，并提供了详细的统计分析和输出解释。

📝 摘要（中文）

评估大型语言模型（LLMs）具有挑战性，尤其是在非英语语言中。为此，本文提出Khayyam Challenge（即PersianMMLU），这是一个精心策划的问答集合，包含20,192个四选一问题，涵盖38个不同任务，旨在全面评估支持波斯语的LLMs。该挑战的特点包括丰富的元数据、避免数据污染的新数据使用、针对波斯语使用者的原始数据，以及未来数据更新的可扩展性。通过对现有波斯语LLMs的评估，本文提供了统计分析和输出解释。

🔬 方法详解

问题定义：本文旨在解决现有波斯语LLMs评估框架的不足，特别是缺乏全面性和系统性的评估标准。现有方法往往无法有效覆盖波斯语的多样性和复杂性。

核心思路：Khayyam Challenge通过构建一个包含20,192个问题的问答集，涵盖多个学科和难度级别，提供了一个全面的评估平台，旨在准确评估波斯语LLMs的语言理解、推理和信息检索能力。

技术框架：该框架包括问题收集、元数据标注和评估模块。问题从波斯语考试中提取，元数据包括人类响应率和难度等级，评估模块则用于分析LLMs的表现。

关键创新：Khayyam Challenge的创新之处在于其综合性和针对性，首次将多样化的任务和丰富的元数据结合在一起，形成一个完整的评估基准，解决了现有框架的局限性。

关键设计：在设计中，采用了原始非翻译数据，确保了文化的适应性，并避免了翻译带来的误差。同时，框架具备良好的可扩展性，便于未来数据的更新和评估。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，Khayyam Challenge能够有效评估多种波斯语LLMs，提供了详细的统计分析。相较于现有评估框架，本文的评估方法在准确性和全面性上有显著提升，能够更好地反映模型的真实能力。

🎯 应用场景

Khayyam Challenge的潜在应用领域包括教育评估、语言学习和人工智能研究。通过提供一个系统化的评估工具，教育工作者和研究人员可以更好地理解波斯语LLMs的能力，从而推动相关技术的发展和应用。

📄 摘要（原文）

Evaluating Large Language Models (LLMs) is challenging due to their generative nature, necessitating precise evaluation methodologies. Additionally, non-English LLM evaluation lags behind English, resulting in the absence or weakness of LLMs for many languages. In response to this necessity, we introduce Khayyam Challenge (also known as PersianMMLU), a meticulously curated collection comprising 20,192 four-choice questions sourced from 38 diverse tasks extracted from Persian examinations, spanning a wide spectrum of subjects, complexities, and ages. The primary objective of the Khayyam Challenge is to facilitate the rigorous evaluation of LLMs that support the Persian language. Distinctive features of the Khayyam Challenge are (i) its comprehensive coverage of various topics, including literary comprehension, mathematics, sciences, logic, intelligence testing, etc., aimed at assessing different facets of LLMs such as language comprehension, reasoning, and information retrieval across various educational stages, from lower primary school to upper secondary school (ii) its inclusion of rich metadata such as human response rates, difficulty levels, and descriptive answers (iii) its utilization of new data to avoid data contamination issues prevalent in existing frameworks (iv) its use of original, non-translated data tailored for Persian speakers, ensuring the framework is free from translation challenges and errors while encompassing cultural nuances (v) its inherent scalability for future data updates and evaluations without requiring special human effort. Previous works lacked an evaluation framework that combined all of these features into a single comprehensive benchmark. Furthermore, we evaluate a wide range of existing LLMs that support the Persian language, with statistical analyses and interpretations of their outputs.