AfroBench: How Good are Large Language Models on African Languages?
作者: Jessica Ojo, Odunayo Ogundepo, Akintunde Oladipo, Kelechi Ogueji, Jimmy Lin, Pontus Stenetorp, David Ifeoluwa Adelani
分类: cs.CL, cs.AI, cs.LG
发布日期: 2023-11-14 (更新: 2025-06-07)
备注: Accepted to ACL 2025 (Findings)
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
提出AfroBench以评估大型语言模型在非洲语言上的表现
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 非洲语言 多任务基准 自然语言处理 评估方法 机器学习 数据集构建
📋 核心要点
- 现有的多语言评估方法在非洲语言上表现不足，缺乏高质量的评估数据和代表性。
- AfroBench通过构建一个包含64种非洲语言的多任务基准，提供了全面的评估框架。
- 实验结果显示，LLMs在非洲语言上的表现与高资源语言相比存在显著差距，且受单语数据资源影响。
📝 摘要（中文）
大规模多语言评估（如MEGA）通常仅包含少量非洲语言，原因在于高质量评估数据的稀缺和现有非洲数据集的可发现性有限。这种缺乏代表性的问题阻碍了对大型语言模型（LLMs）在多样语言和任务上的全面评估。为了解决这些挑战，本文提出了AfroBench——一个多任务基准，用于评估LLMs在64种非洲语言、15个任务和22个数据集上的表现。AfroBench包括九个自然语言理解数据集、六个文本生成数据集、六个知识和问答任务以及一个数学推理任务。结果表明，LLMs在高资源语言（如英语）和非洲语言之间的表现存在显著差距，且表现因单语数据资源的可用性而异。这些发现强调了当前LLMs在非洲语言上的表现仍然是一个难题，亟需更多努力来缩小这一差距。
🔬 方法详解
问题定义：本文旨在解决当前大型语言模型在非洲语言评估中的不足，尤其是由于缺乏高质量数据而导致的代表性问题。
核心思路：通过构建AfroBench基准，涵盖多种非洲语言和任务，提供一个全面的评估平台，以便更好地理解LLMs在这些语言上的表现。
技术框架：AfroBench包含64种非洲语言，15个任务和22个数据集，具体包括九个自然语言理解数据集、六个文本生成数据集、六个知识问答任务和一个数学推理任务。
关键创新：AfroBench的创新在于其多样性和广泛性，填补了现有评估中对非洲语言的忽视，提供了更全面的评估标准。
关键设计：在实验中，采用了基于BERT和T5的微调模型作为基线，与提示方法进行比较，确保了评估的科学性和准确性。实验结果表明，单语数据的可用性对模型性能有显著影响。
🖼️ 关键图片
📊 实验亮点
实验结果显示，LLMs在非洲语言上的表现与高资源语言（如英语）相比存在显著差距，尤其在自然语言理解和文本生成任务中。基于BERT和T5的微调模型在这些任务上的表现明显优于简单提示方法，强调了微调的重要性。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理、机器翻译和跨文化交流等。通过提升LLMs在非洲语言上的表现，AfroBench能够促进多语言技术的公平性和可及性，推动非洲语言的数字化发展。未来，AfroBench可能成为评估和改进非洲语言处理技术的重要工具。
📄 摘要（原文）
Large-scale multilingual evaluations, such as MEGA, often include only a handful of African languages due to the scarcity of high-quality evaluation data and the limited discoverability of existing African datasets. This lack of representation hinders comprehensive LLM evaluation across a diverse range of languages and tasks. To address these challenges, we introduce AfroBench -- a multi-task benchmark for evaluating the performance of LLMs across 64 African languages, 15 tasks and 22 datasets. AfroBench consists of nine natural language understanding datasets, six text generation datasets, six knowledge and question answering tasks, and one mathematical reasoning task. We present results comparing the performance of prompting LLMs to fine-tuned baselines based on BERT and T5-style models. Our results suggest large gaps in performance between high-resource languages, such as English, and African languages across most tasks; but performance also varies based on the availability of monolingual data resources. Our findings confirm that performance on African languages continues to remain a hurdle for current LLMs, underscoring the need for additional efforts to close this gap. https://mcgill-nlp.github.io/AfroBench/