The Invalsi Benchmarks: measuring Linguistic and Mathematical understanding of Large Language Models in Italian

📄 arXiv: 2403.18697v3 📥 PDF

作者: Giovanni Puccetti, Maria Cassese, Andrea Esuli

分类: cs.CL

发布日期: 2024-03-27 (更新: 2024-09-17)

💡 一句话要点

提出Invalsi基准以评估意大利语大型语言模型的理解能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 意大利语 数学理解 语言理解 教育评估 基准测试 机器学习

📋 核心要点

  1. 现有的意大利语大型语言模型评估缺乏本土基准，限制了其在教育领域的应用。
  2. 提出了三个基准，分别针对数学和语言理解，基于经过验证的教育测试，填补了评估空白。
  3. 实验结果显示，Llama 3.1在Invalsi MATE上表现优于意大利学生，而在Invalsi ITA上大多数模型表现良好。

📝 摘要（中文）

尽管意大利语是一种高资源语言，但目前缺乏评估生成型大型语言模型（LLMs）在该语言上表现的本土基准。本文提出了三个新的基准：Invalsi MATE用于评估意大利语的数学理解，Invalsi ITA用于评估语言理解，Olimpiadi MATE则用于更复杂的数学理解。前两个基准基于意大利学校系统中6至18岁学生的Invalsi测试，经过多位教育专家的验证，而第三个基准源自意大利高中数学奥林匹克。我们对10个强大的语言模型在这些基准上的表现进行了评估，发现Llama 3.1 70b instruct在Invalsi MATE上达到了71%的准确率，而在Invalsi ITA上达到了88%。

🔬 方法详解

问题定义：本文旨在解决意大利语大型语言模型评估缺乏本土基准的问题，现有方法未能充分反映意大利学生的实际能力。

核心思路：通过构建基于Invalsi测试和数学奥林匹克的新基准，提供更具针对性的评估工具，以便更好地衡量LLMs在意大利语环境下的表现。

技术框架：研究设计了三个基准：Invalsi MATE（数学理解）、Invalsi ITA（语言理解）和Olimpiadi MATE（复杂数学理解），并对10个语言模型进行了系统评估。

关键创新：本研究的创新在于首次为意大利语LLMs提供了专门的评估基准，填补了现有评估工具的空白，特别是在数学理解方面。

关键设计：基准设计中考虑了教育专家的意见，确保测试内容的有效性和可靠性，并通过与意大利学生的平均表现进行对比，验证模型的评估结果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，Llama 3.1 70b instruct在Invalsi MATE基准上达到了71%的准确率，而在Invalsi ITA上则达到了88%。在Olimpiadi MATE基准中，Llama 3.1 405b instruct的最高准确率为45%，显示出该基准的挑战性。

🎯 应用场景

该研究为意大利语的教育技术和语言模型开发提供了重要的评估工具，能够帮助教育工作者和研究人员更好地理解和改进大型语言模型在教育领域的应用潜力。未来，这些基准可能会被广泛应用于其他语言的模型评估中，推动多语言教育技术的发展。

📄 摘要（原文）

While Italian is a high-resource language, there are few Italian-native benchmarks to evaluate generative Large Language Models (LLMs) in this language. This work presents three new benchmarks: Invalsi MATE to evaluate models performance on mathematical understanding in Italian, Invalsi ITA to evaluate language understanding in Italian and Olimpiadi MATE for more complex mathematical understanding. The first two benchmarks are based on the Invalsi tests, which are administered to students of age between 6 and 18 within the Italian school system and have been validated by several experts in teaching and pedagogy, the third one comes from the Italian high school math Olympics. We evaluate 10 powerful language models on these benchmarks and find that they are bound by 71% accuracy on Invasli MATE, achieved by Llama 3.1 70b instruct and by 88% on Invalsi ITA. For both Invalsi MATE and Invalsi ITA we compare LLMs with the average performance of Italian students to show that Llama 3.1 is the only one to outperform them on Invalsi MATE while most models do so on Invalsi ITA, we then show that Olimpiadi MATE is more challenging than Invalsi MATE and the highest accuracy, achieved by Llama 3.1 405b instruct is 45%. We will make data and evaluation code openly available upon acceptance of the paper.