ChiKhaPo: A Large-Scale Multilingual Benchmark for Evaluating Lexical Comprehension and Generation in Large Language Models

📄 arXiv: 2510.16928 📥 PDF

作者: Emily Chang, Niyati Bafna

分类: cs.CL

发布日期: 2026-06-12

💡 一句话要点

提出ChiKhaPo以解决多语言模型词汇理解与生成评估问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多语言模型 词汇理解 生成能力 基准测试 低资源语言 自然语言处理 机器翻译

📋 核心要点

  1. 现有基准测试主要集中在高资源语言，无法有效评估LLMs在低资源语言上的表现。
  2. ChiKhaPo通过设计8个子任务，评估生成模型的词汇理解和生成能力，覆盖2700多种语言。
  3. 实验结果显示，6个最先进的模型在该基准上表现不佳，揭示了多种影响因素。

📝 摘要（中文）

现有的大型语言模型（LLMs）基准测试主要集中在高资源或中资源语言上，且通常评估推理和生成等高阶任务的表现。然而，许多证据表明，LLMs在全球3800多种书面语言中缺乏基本的语言能力。我们提出了ChiKhaPo，包含8个不同难度的子任务，旨在评估生成模型的词汇理解和生成能力。ChiKhaPo基于现有词典、单语数据和双语文本，覆盖2700多种语言，超越了现有基准的语言覆盖范围。我们进一步展示了6个最先进模型在该基准上的表现不佳，并讨论了影响性能得分的因素，包括语言家族、语言资源情况、任务类型以及理解与生成方向的差异。通过ChiKhaPo，我们希望推动和鼓励对LLMs进行大规模多语言基准测试。

🔬 方法详解

问题定义：本论文旨在解决现有大型语言模型在多语言词汇理解与生成能力评估中的不足，尤其是在低资源语言的表现评估上存在的挑战。现有方法往往忽视了全球3800多种语言的基本语言能力评估。

核心思路：论文提出ChiKhaPo基准，设计8个不同难度的子任务，旨在全面评估生成模型在词汇理解和生成方面的能力，特别是针对低资源语言的评估。通过利用现有的词典、单语数据和双语文本，ChiKhaPo能够覆盖更广泛的语言。

技术框架：ChiKhaPo的整体架构包括数据收集、任务设计和模型评估三个主要模块。数据收集阶段整合了多种语言资源，任务设计阶段则根据不同难度划分了8个子任务，最后在模型评估阶段对多种生成模型进行性能测试。

关键创新：ChiKhaPo的最大创新在于其广泛的语言覆盖能力，能够评估2700多种语言的词汇理解与生成能力，超越了现有基准的限制。此外，论文还分析了影响模型性能的多种因素，为后续研究提供了新的视角。

关键设计：在任务设计中，论文设置了不同的难度级别，并考虑了语言家族和资源情况等因素。模型评估采用了标准化的性能指标，以确保结果的可比性和有效性。

📊 实验亮点

实验结果表明，6个最先进的模型在ChiKhaPo基准上的表现不佳，显示出在低资源语言上的显著不足。这一发现强调了语言家族、资源情况和任务类型对模型性能的影响，为未来的研究指明了方向。

🎯 应用场景

ChiKhaPo的研究成果具有广泛的应用潜力，特别是在多语言自然语言处理、机器翻译和跨文化交流等领域。通过提供一个全面的评估基准，研究者和开发者可以更好地理解和改进LLMs在多语言环境下的表现，推动全球语言技术的发展。

📄 摘要（原文）

Existing benchmarks for large language models (LLMs) are largely restricted to high- or mid-resource languages, and often evaluate performance on higher-order tasks in reasoning and generation. However, plenty of evidence points to the fact that LLMs lack basic linguistic competence in the vast majority of the world's 3800+ written languages. We introduce ChiKhaPo, consisting of 8 subtasks of varying difficulty designed to evaluate the lexical comprehension and generation abilities of generative models. ChiKhaPo draws on existing lexicons, monolingual data, and bitext, and provides coverage for 2700+ languages for 2 subtasks, surpassing any existing benchmark in terms of language coverage. We further show that 6 SOTA models struggle on our benchmark, and discuss the factors contributing to performance scores, including language family, language resourcedness, task, and comprehension versus generation directions. With ChiKhaPo, we hope to enable and encourage the massively multilingual benchmarking of LLMs.