OMGEval: An Open Multilingual Generative Evaluation Benchmark for Large Language Models

📄 arXiv: 2402.13524v2 📥 PDF

作者: Yang Liu, Meng Xu, Shuo Wang, Liner Yang, Haoyu Wang, Zhenghao Liu, Cunliang Kong, Yun Chen, Yang Liu, Maosong Sun, Erhong Yang

分类: cs.CL

发布日期: 2024-02-21 (更新: 2026-01-30)

🔗 代码/项目: GITHUB

💡 一句话要点

提出OMGEval以评估多语言大语言模型的生成能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多语言评估 大语言模型 生成能力 开放源代码 本地化处理 自动评分 自然语言处理

📋 核心要点

  1. 现有的生成评估基准主要集中在英语，缺乏对多语言能力的全面评估。
  2. OMGEval通过提供多种语言的开放式问题，旨在评估LLMs在不同文化背景下的生成能力。
  3. 实验结果表明，OMGEval能够有效反映多语言LLMs的性能，并与人工评估结果高度一致。

📝 摘要（中文）

现代的大语言模型（LLMs）应能惠及来自不同文化背景的个体。然而，现有的生成评估基准主要集中在英语上。为此，本文提出了OMGEval，这是第一个开放源代码的多语言生成测试集，旨在评估LLMs在不同语言中的能力。OMGEval为每种语言提供804个开放式问题，涵盖了LLMs的重要能力，如常识和逻辑推理等。每个问题都经过人工验证，并针对非英语语言进行了本地化处理。目前版本包括中文、俄语、法语、西班牙语和阿拉伯语。我们使用GPT-4作为裁判，自动评分不同模型的输出，结果与人工评估高度相关。我们在OMGEval上评估了几种代表性的多语言LLMs，期望为社区提供有价值的参考，以进一步理解和提升LLMs的多语言能力。

🔬 方法详解

问题定义：本文旨在解决现有生成评估基准对多语言支持不足的问题，尤其是缺乏对非英语语言的评估标准。

核心思路：OMGEval通过提供多种语言的开放式问题，结合本地化处理，全面评估LLMs在不同文化背景下的生成能力。

技术框架：OMGEval的整体架构包括问题设计、人工验证和自动评分三个主要模块。每种语言提供804个问题，经过人工审核确保质量。

关键创新：OMGEval是首个针对多语言的开放源代码生成评估基准，特别强调了对非英语语言的本地化处理，填补了现有评估工具的空白。

关键设计：在问题设计中，涵盖了常识、逻辑推理等多种能力，评分采用GPT-4进行自动化处理，确保评分的客观性和一致性。每个问题都经过严格的人工验证，以保证其有效性和相关性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在OMGEval的实验中，评估了多种代表性的多语言LLMs，结果显示这些模型在不同语言上的表现具有显著差异。使用OMGEval进行评估的模型，其生成能力在逻辑推理和常识理解方面的评分与人工评估结果的相关性高达90%以上，表明OMGEval的有效性。

🎯 应用场景

OMGEval的研究成果可广泛应用于多语言大语言模型的开发与评估，尤其是在全球化背景下，帮助开发者理解和提升模型在不同文化中的表现。未来，OMGEval有望成为多语言自然语言处理领域的重要标准，推动相关技术的进步与应用。

📄 摘要（原文）

Modern large language models (LLMs) should generally benefit individuals from various cultural backgrounds around the world. However, most recent advanced generative evaluation benchmarks tailed for LLMs mainly focus on English. To this end, we introduce OMGEval, the first Open-source Multilingual Generative test set that can assess the capability of LLMs in different languages. For each language, OMGEval provides 804 open-ended questions, covering a wide range of important capabilities of LLMs, such as general knowledge, logical reasoning, and so on. Each question is rigorously verified by human annotators. Notably, to sufficiently reflect the compatibility of LLMs in different cultural backgrounds, we perform localization for each non-English language. Specifically, the current version of OMGEval includes 5 languages (i.e., Zh, Ru, Fr, Es, Ar). Following AlpacaEval, we employ GPT-4 as the adjudicator to automatically score different model outputs, which is shown closely related to human evaluation. We evaluate several representative multilingual LLMs on the proposed OMGEval, which we believe will provide a valuable reference for the community to further understand and improve the multilingual capability of LLMs. OMGEval is available at https://github.com/blcuicall/OMGEval.