MEGAVERSE: Benchmarking Large Language Models Across Languages, Modalities, Models and Tasks

📄 arXiv: 2311.07463v2 📥 PDF

作者: Sanchit Ahuja, Divyanshu Aggarwal, Varun Gumma, Ishaan Watts, Ashutosh Sathe, Millicent Ochieng, Rishav Hada, Prachi Jain, Maxamed Axmed, Kalika Bali, Sunayana Sitaram

分类: cs.CL

发布日期: 2023-11-13 (更新: 2024-04-02)

备注: 40 pages, 35 figures and 34 tables

💡 一句话要点

提出MEGAVERSE基准以评估多语言大语言模型的能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 多语言评估 数据集构建 低资源语言 多模态学习

📋 核心要点

  1. 现有的LLM评估研究主要集中在英语，导致非英语语言的能力和局限性未得到充分理解。
  2. 本文通过建立MEGAVERSE基准，系统评估多种LLM在非英语语言上的表现，涵盖多种语言和任务。
  3. 实验结果显示，GPT-4等大型模型在低资源语言上的表现显著优于小型模型，且存在数据污染问题。

📝 摘要（中文）

随着对大语言模型（LLM）评估研究的激增，现有研究主要集中在英语，导致非英语语言的LLM构建与评估相对未被探索。本文旨在对多种最先进的LLM（如GPT-3.5-Turbo、GPT-4等）在非英语能力上进行全面评估，使用22个涵盖83种语言的多语言数据集进行比较，包括低资源的非洲语言。研究还纳入了两个多模态数据集，比较了LLaVA模型、GPT-4-Vision和Gemini-Pro-Vision的表现。实验结果表明，较大的模型在多项任务上表现优于较小的模型，尤其是在低资源语言上，GPT-4在更多数据集上超越了其他模型。此外，研究还发现多个模型可能受到多语言评估基准的污染，强调了在评估多语言性能时检测和处理污染的重要性。

🔬 方法详解

问题定义：本文旨在解决现有LLM评估研究局限于英语的问题，缺乏对非英语语言的系统评估，尤其是低资源语言的能力未被充分探索。

核心思路：通过建立MEGAVERSE基准，比较多种最先进的LLM在相同多语言数据集上的表现，系统性地评估其在非英语语言上的能力。

技术框架：研究使用22个数据集，涵盖83种语言，包括低资源语言，并引入两个多模态数据集，比较不同模型的表现。整体流程包括数据集构建、模型评估和结果分析。

关键创新：MEGAVERSE基准的建立是本文的主要创新点，它提供了一个全面的框架来评估LLM在多语言和多模态任务上的能力，填补了现有研究的空白。

关键设计：在实验中，使用了多种数据集和评估指标，特别关注低资源语言的表现，同时考虑了数据污染对模型评估的影响，提出了相应的检测和处理方法。

📊 实验亮点

实验结果表明，GPT-4、Gemini-Pro和PaLM2等大型模型在多项任务上表现优于小型模型，尤其是在低资源语言上，GPT-4在更多数据集上超越了PaLM2和Gemini-Pro。此外，研究发现多个模型可能受到多语言评估基准的污染，强调了检测和处理污染的重要性。

🎯 应用场景

该研究的潜在应用领域包括多语言自然语言处理、跨语言信息检索和多模态学习等。通过对LLM在不同语言和任务上的评估，能够为多语言应用的开发提供重要的参考依据，推动全球范围内的语言技术进步。

📄 摘要（原文）

There has been a surge in LLM evaluation research to understand LLM capabilities and limitations. However, much of this research has been confined to English, leaving LLM building and evaluation for non-English languages relatively unexplored. Several new LLMs have been introduced recently, necessitating their evaluation on non-English languages. This study aims to perform a thorough evaluation of the non-English capabilities of SoTA LLMs (GPT-3.5-Turbo, GPT-4, PaLM2, Gemini-Pro, Mistral, Llama2, and Gemma) by comparing them on the same set of multilingual datasets. Our benchmark comprises 22 datasets covering 83 languages, including low-resource African languages. We also include two multimodal datasets in the benchmark and compare the performance of LLaVA models, GPT-4-Vision and Gemini-Pro-Vision. Our experiments show that larger models such as GPT-4, Gemini-Pro and PaLM2 outperform smaller models on various tasks, notably on low-resource languages, with GPT-4 outperforming PaLM2 and Gemini-Pro on more datasets. We also perform a study on data contamination and find that several models are likely to be contaminated with multilingual evaluation benchmarks, necessitating approaches to detect and handle contamination while assessing the multilingual performance of LLMs.