MERA: A Comprehensive LLM Evaluation in Russian

📄 arXiv: 2401.04531v3 📥 PDF

作者: Alena Fenogenova, Artem Chervyakov, Nikita Martynov, Anastasia Kozlova, Maria Tikhonova, Albina Akhmetgareeva, Anton Emelyanov, Denis Shevelev, Pavel Lebedev, Leonid Sinev, Ulyana Isaeva, Katerina Kolomeytseva, Daniil Moskovskiy, Elizaveta Goncharova, Nikita Savushkin, Polina Mikhailova, Denis Dimitrov, Alexander Panchenko, Sergei Markov

分类: cs.CL, cs.AI

发布日期: 2024-01-09 (更新: 2024-08-02)

备注: The paper version comparable with the release code v.1.1.0 of the benchmark MERA. ACL-2024 main track camera ready version

💡 一句话要点

提出MERA基准以评估俄语基础模型的能力与局限性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 基础模型 语言模型 多模态评估 俄语处理 性能评估 开放源码 黑箱测试

📋 核心要点

  1. 现有的语言模型在能力和局限性方面仍缺乏深入理解，尤其是在俄语领域。
  2. 本文提出了MERA，一个专为俄语设计的多模态评估基准，包含21个评估任务，旨在系统性评估基础模型。
  3. 实验结果表明，开放的语言模型在性能上仍远低于人类水平，强调了进一步研究的必要性。

📝 摘要（中文）

近年来，基础模型（FMs）特别是语言模型（LMs）在人工智能研究中取得了显著进展。尽管研究者们对LM的应用关注度不断提升，但其能力、局限性及相关风险仍需深入理解。为此，本文提出了一个开放的俄语多模态评估基准MERA，涵盖21个生成模型评估任务，涉及11个技能领域，旨在作为黑箱测试以避免数据泄露。我们提出了一种在零样本和少样本固定指令设置下评估FMs和LMs的方法论，并公开发布MERA以指导未来研究，标准化评估程序，解决潜在的社会问题。

🔬 方法详解

问题定义：本文旨在解决当前对俄语基础模型能力和局限性的理解不足，现有方法在评估过程中存在数据泄露风险。

核心思路：提出MERA基准，通过设计黑箱测试来评估俄语语言模型的表现，确保评估的公正性和有效性。

技术框架：MERA基准包括21个评估任务，涵盖11个技能领域，采用零样本和少样本的固定指令设置，确保评估的全面性。

关键创新：MERA的设计不仅提供了一个系统化的评估框架，还引入了开放源码和提交系统，促进了研究的透明性和可重复性。

关键设计：在评估过程中，采用了多种任务类型和指令设置，确保了评估的多样性和适应性，同时避免了数据泄露的风险。通过这些设计，MERA能够有效地评估模型在不同任务下的表现。

🖼️ 关键图片

fig_0

📊 实验亮点

实验结果显示，开放的语言模型在MERA基准下的表现仍显著低于人类水平，强调了当前模型在理解和生成俄语文本方面的不足。这一发现为未来的研究方向提供了重要的参考依据。

🎯 应用场景

MERA基准的提出为俄语基础模型的评估提供了标准化的工具，能够广泛应用于自然语言处理、教育、社交媒体分析等领域。通过系统化的评估，研究者可以更好地理解模型的能力与局限性，从而推动相关技术的发展与应用。

📄 摘要（原文）

Over the past few years, one of the most notable advancements in AI research has been in foundation models (FMs), headlined by the rise of language models (LMs). As the models' size increases, LMs demonstrate enhancements in measurable aspects and the development of new qualitative features. However, despite researchers' attention and the rapid growth in LM application, the capabilities, limitations, and associated risks still need to be better understood. To address these issues, we introduce an open Multimodal Evaluation of Russian-language Architectures (MERA), a new instruction benchmark for evaluating foundation models oriented towards the Russian language. The benchmark encompasses 21 evaluation tasks for generative models in 11 skill domains and is designed as a black-box test to ensure the exclusion of data leakage. The paper introduces a methodology to evaluate FMs and LMs in zero- and few-shot fixed instruction settings that can be extended to other modalities. We propose an evaluation methodology, an open-source code base for the MERA assessment, and a leaderboard with a submission system. We evaluate open LMs as baselines and find that they are still far behind the human level. We publicly release MERA to guide forthcoming research, anticipate groundbreaking model features, standardize the evaluation procedure, and address potential societal drawbacks.