M-GATE: Multilingual Grammar, Accuracy in Translation, and Efficiency Benchmark for Large Language Models

📄 arXiv: 2608.03803v1 📥 PDF

作者: Tomáš Burkert, Angelika Peljak-Łapińska, David Zelený

分类: cs.CL, cs.LG

发布日期: 2026-08-04

备注: 45 pages (97 incl. appendices), 6 figures

💡 一句话要点

提出M-GATE基准以评估多语言模型的语法和翻译能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多语言模型 语法错误检测 翻译准确性 基准测试 自然语言处理 机器翻译 语言能力评估

📋 核心要点

  1. 现有的多语言模型基准测试往往只关注模型在特定语言中的任务表现，忽视了其语言掌握的深度和广度。
  2. 本文提出M-GATE基准，通过语法错误检测、往返翻译和分词器效率测量，全面评估多语言模型的语言能力。
  3. 实验结果显示，翻译质量与预训练数据的比例高度相关，且推理能力的提升对翻译效果有显著影响。

📝 摘要（中文）

多语言模型在一百多种语言中被广泛应用，但现有基准测试往往只关注模型在某种语言中的任务表现，而忽视了其语言掌握程度。本文提出M-GATE（多语言语法、翻译准确性与效率），这是一个涵盖30种类型多样语言的语言能力基准。M-GATE包含三个任务：针对语言特定现象的语法错误检测、跨29种目标语言的往返翻译以及补充的分词器效率测量。我们评估了50多种模型的80多种配置，发现流利度与能力之间存在显著差异，翻译质量与预训练数据的比例密切相关，且推理能力的提升对翻译效果有显著影响。

🔬 方法详解

问题定义：本文旨在解决现有多语言模型基准测试中对语言掌握程度评估不足的问题。现有方法往往将流利度与能力混为一谈，导致评估结果不够准确。

核心思路：M-GATE基准通过设计三个任务，分别评估语法错误检测、翻译准确性和分词器效率，从而全面反映模型的语言能力。这样的设计能够更好地区分模型的流利度和能力。

技术框架：M-GATE基准由三个主要模块组成：语法错误检测模块、往返翻译模块和分词器效率测量模块。每个模块针对不同的语言现象和任务进行评估，确保全面性。

关键创新：M-GATE的创新在于其综合性评估方法，特别是通过对语言特定现象的语法错误检测，揭示了模型在语言能力上的不足。这与现有方法的单一任务评估形成鲜明对比。

关键设计：在实验中，使用了经过语言学家精心设计的对抗性句子进行语法错误检测，并通过三位提供者的LLM评审小组对翻译质量进行评分，确保评估的客观性和准确性。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果显示，翻译质量与预训练数据的比例呈现出高度相关性（r = 0.86），而在语法错误检测中，最佳模型的马修斯相关系数（MCC）仅为0.36，表明流利度与能力之间存在显著差异。这些发现为多语言模型的改进提供了重要的方向。

🎯 应用场景

M-GATE基准的提出为多语言模型的评估提供了新的标准，能够帮助研究人员和开发者更准确地理解模型的语言能力。这一基准在机器翻译、自然语言处理和跨语言应用等领域具有广泛的潜在应用价值，能够推动多语言技术的进一步发展。

📄 摘要（原文）

Multilingual language models are deployed across a hundred or more languages, yet most benchmarks test whether a model can perform a task in a language rather than whether it commands the language itself, conflating fluency with proficiency. We introduce M-GATE (Multilingual Grammar, Accuracy in Translation, and Efficiency), a benchmark of linguistic proficiency spanning 30 typologically diverse languages from high- to low-resource. M-GATE comprises three tasks: grammatical error detection on linguist-crafted, adversarially selected sentences that turn on hard, language-specific phenomena; round-trip translation of shared English sources across 29 target languages, scored by a three-provider LLM judge panel validated against professional annotators; and a supplementary tokenizer-efficiency measure. We evaluate over 50 models in more than 80 configurations. Fluency and proficiency come apart sharply: models that translate competently sit near chance on the adversarial grammar items, the best reaching a Matthews correlation coefficient (MCC) of only 0.36, and their errors lean systematically toward under-flagging, accepting ungrammatical text rather than raising false alarms. Translation quality closely tracks a language's share of pretraining data (r = 0.86 against log Common Crawl share), producing a steep low-resource penalty that is nonetheless narrowing with successive model releases. Enabling reasoning reliably improves translation, while its effect on error detection is smaller and for some models negative, so the best configuration is task-dependent. To resist contamination, test items are kept private behind a continuously updated public leaderboard, with illustrative examples released (https://m-gate.ai).