Evaluating the Elementary Multilingual Capabilities of Large Language Models with MultiQ

📄 arXiv: 2403.03814v2 📥 PDF

作者: Carolin Holtermann, Paul Röttger, Timm Dill, Anne Lauscher

分类: cs.CL, cs.AI

发布日期: 2024-03-06 (更新: 2024-07-18)

💡 一句话要点

提出MultiQ基准评估大型语言模型的多语言能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 多语言能力 问答系统 基准评估 自然语言处理

📋 核心要点

  1. 现有的LLMs往往只针对英语或少数高资源语言，导致非英语用户的需求未被充分满足。
  2. 本文提出MultiQ基准，通过27.4k个问题评估开放LLMs在多语言环境下的表现，关注语言忠实度和问答准确性。
  3. 实验结果显示，尽管大多数模型在某些语言上表现良好，但仍有大量语言的表现不佳，且模型间差异显著。

📝 摘要（中文）

大型语言模型（LLMs）需要服务于全球大多数非英语使用者。然而，目前大多数LLMs，尤其是开放模型，主要面向英语或少数高资源语言。本文研究了当前开放LLMs在其预期使用之外的基本多语言能力。为此，我们引入了MultiQ，一个新的银标准基准，包含来自137种语言的27.4k个开放式问答测试问题。通过MultiQ，我们评估了语言忠实度和问答准确性。所有测试的LLMs在某些语言上都能忠实或准确地回应，但模型间差异显著，且存在许多语言的表现不佳。我们探讨了分词差异作为可能的解释，并识别出值得进一步研究的相关性。

🔬 方法详解

问题定义：本文旨在解决当前大型语言模型在多语言环境下的能力评估问题，现有方法未能充分考虑非英语语言的使用情况。

核心思路：通过引入MultiQ基准，评估模型在多种语言下的问答能力，关注模型的语言忠实度和准确性。

技术框架：MultiQ基准包含27.4k个开放式问答问题，覆盖137种语言，评估流程包括数据收集、模型测试和结果分析。

关键创新：MultiQ作为银标准基准，提供了一个系统化的评估框架，填补了现有多语言能力评估的空白。

关键设计：在实验中，模型的响应被评估为忠实或准确，分析了不同模型在多语言环境下的表现差异，并探讨了分词对结果的影响。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，所有测试的LLMs在某些语言上均能表现出忠实或准确的回应，然而模型间的表现差异显著，尤其是在低资源语言上，部分模型的准确率和忠实度均较低，显示出改进的空间。

🎯 应用场景

该研究的潜在应用领域包括多语言客服系统、跨国企业的自动翻译工具和教育领域的语言学习辅助工具。通过提升LLMs的多语言能力，可以更好地满足全球用户的需求，推动人工智能的普及与应用。

📄 摘要（原文）

Large language models (LLMs) need to serve everyone, including a global majority of non-English speakers. However, most LLMs today, and open LLMs in particular, are often intended for use in just English (e.g. Llama2, Mistral) or a small handful of high-resource languages (e.g. Mixtral, Qwen). Recent research shows that, despite limits in their intended use, people prompt LLMs in many different languages. Therefore, in this paper, we investigate the basic multilingual capabilities of state-of-the-art open LLMs beyond their intended use. For this purpose, we introduce MultiQ, a new silver standard benchmark for basic open-ended question answering with 27.4k test questions across a typologically diverse set of 137 languages. With MultiQ, we evaluate language fidelity, i.e. whether models respond in the prompted language, and question answering accuracy. All LLMs we test respond faithfully and/or accurately for at least some languages beyond their intended use. Most models are more accurate when they respond faithfully. However, differences across models are large, and there is a long tail of languages where models are neither accurate nor faithful. We explore differences in tokenization as a potential explanation for our findings, identifying possible correlations that warrant further investigation.