The State and Fate of Multilingual, Contextual Evaluation in the NLP World
作者: Manan Uppadhyay, Himanshu Beniwal, Prashant Kodali, Sunayana Sitaram
分类: cs.CL
发布日期: 2026-10-27
备注: Published at Conference on Language Modelling, 2026. Can be found at https://openreview.net/forum?id=s7fKZHgYsB
期刊: Conf. on Language Modeling (COLM), 2026
💡 一句话要点
提出多语言评估基准审计以解决现有评估不足问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多语言评估 自然语言处理 低资源语言 数据驱动审计 文化基础评估 评估框架 任务类别 基准污染
📋 核心要点
- 现有多语言评估基准在覆盖性和代表性方面存在显著不足，尤其是低资源语言的评估任务严重不足。
- 本文通过数据驱动的审计方法，系统分析了多语言基准的覆盖性、代表性和严谨性，并提出改进建议。
- 研究发现，36%的语言仅出现在单一基准中，且翻译策略导致的文化偏见影响了评估的有效性。
📝 摘要（中文）
多语言评估基准是评估大型语言模型是否能超越英语的主要工具，但这些基准的充分性尚未得到系统性审查。本文对51个多语言基准进行了数据驱动的审计，涵盖242个数据集和219种语言，围绕覆盖性、代表性和严谨性三个支柱进行分析。结果显示，尽管覆盖面广，但低资源语言的评估任务类别仅为1-3个，而高资源语言则为14个，且翻译策略主导了数据集构建，导致文化内容集中在少数社区驱动的基准中。我们提出了构建原生、文化基础、污染意识的评估框架的具体建议。
🔬 方法详解
问题定义：本文旨在解决现有多语言评估基准在覆盖性和代表性方面的不足，尤其是低资源语言的评估任务严重缺乏的问题。现有方法主要依赖于英语翻译，导致评估结果的有效性受到质疑。
核心思路：通过对51个多语言基准进行数据驱动的审计，分析其覆盖性、代表性和严谨性，提出构建原生、文化基础和污染意识的评估框架的建议。
技术框架：整体审计流程包括数据集收集、语言覆盖分析、任务类别评估和基准污染检测等主要模块，旨在全面评估现有基准的有效性。
关键创新：本文的创新在于系统性地审计多语言基准，揭示了低资源语言的评估严重不足，并提出了针对性的改进建议，与现有方法相比，强调了文化背景的重要性。
关键设计：在审计过程中，重点关注数据集的语言覆盖、任务类别的分布以及翻译策略的影响，确保评估框架能够真实反映语言社区的需求。通过构建一个包含所有元数据的仪表板，提供了可视化的审计结果。
🖼️ 关键图片
📊 实验亮点
实验结果显示，36%的评估语言仅出现在单一基准中，且低资源语言的任务类别显著少于高资源语言，后者的任务类别平均为14个。研究还发现，56%的数据集实例是通过英语翻译构建，导致评估结果的文化偏见。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理模型的多语言评估、跨文化信息处理和低资源语言的技术支持。通过改进评估框架，可以更好地服务于多语言社区，推动语言技术的公平性和有效性。未来，研究成果将有助于提升多语言模型的普适性和实用性。
📄 摘要（原文）
Multilingual evaluation benchmarks are the primary instrument for assessing whether large language models generalize beyond English, yet the adequacy of these benchmarks has received little systematic scrutiny. We present a data-driven audit of 51 recent multilingual benchmarks spanning 242 datasets and 219 languages, organized around three pillars: coverage, representativeness, and rigor. Our analysis reveals that coverage is wide but thin with 36% of evaluated languages appearing in only a single benchmark, entire regions (Oceania, the Americas, Central Asia) are near-zero, and a stark task equity gap leaves low-resource languages evaluated on only 1-3 task categories versus 14 for high-resource languages. Representativeness is structurally compromised: translation from English remains the dominant construction strategy where 56% of all dataset-language instances are translated introducing artifacts and English-centric framing, while culturally grounded content is concentrated in a handful of community-driven benchmarks with narrow language scope. The ecosystem thus forces a trade-off between breadth and validity. Rigor is undermined by benchmark contamination, including translated benchmark leakage and parallel corpus overlap that evade surface-form detection. We synthesize these findings into concrete recommendations for building evaluation frameworks that are natively constructed, culturally grounded, contamination-aware, and designed to serve the communities whose languages they claim to evaluate. The dashboard with all the metadata collected can be found at https://aka.ms/multilingual-evals.