BEnQA: A Question Answering and Reasoning Benchmark for Bengali and English

📄 arXiv: 2403.10900v1 📥 PDF

作者: Sheikh Shafayat, H M Quamran Hasan, Minhajur Rahman Chowdhury Mahim, Rifki Afina Putri, James Thorne, Alice Oh

分类: cs.CL

发布日期: 2024-03-16

💡 一句话要点

提出BEnQA数据集以解决孟加拉语和英语问答性能差异问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 问答系统 低资源语言 数据集构建 多语言模型 自然语言处理

📋 核心要点

  1. 现有的问答系统在低资源语言（如孟加拉语）中的性能普遍较差，缺乏有效的数据集支持。
  2. 论文提出了BEnQA数据集，包含平行的孟加拉语和英语考试问题，以促进问答系统的研究和应用。
  3. 实验结果显示，链式思维提示对推理问题有效，而附加英语翻译有助于提高孟加拉语问题的回答准确性。

📝 摘要（中文）

本研究介绍了BEnQA数据集，该数据集包含孟加拉语和英语的平行考试问题，适用于孟加拉国中学和高中水平。数据集约有5000个问题，涵盖多个科学科目，问题类型包括事实性、应用性和推理性问题。我们对多种大型语言模型（LLMs）进行了基准测试，观察到模型在孟加拉语和英语之间的显著性能差异。此外，我们还研究了一些提示方法，发现链式思维提示对推理问题有益，但对事实性问题的效果不明显。研究结果为提升低资源语言中的LLMs性能提供了有希望的未来研究方向。

🔬 方法详解

问题定义：本研究旨在解决现有问答系统在孟加拉语和英语之间的性能差异问题，尤其是在低资源语言中的应用挑战。现有方法缺乏针对孟加拉语的有效数据集和模型评估标准。

核心思路：论文通过构建BEnQA数据集，提供了一个包含平行问题的资源，以便对比和评估不同语言模型在两种语言上的表现。通过这种方式，研究者可以更好地理解模型在低资源语言中的局限性和潜力。

技术框架：整体架构包括数据集构建、模型训练和评估三个主要阶段。数据集涵盖多种问题类型，模型则包括多种大型语言模型的基准测试。

关键创新：BEnQA数据集是首个针对孟加拉语和英语的平行考试问题集，填补了低资源语言问答研究的空白。与现有方法相比，该数据集提供了更全面的评估标准和研究基础。

关键设计：数据集中问题的设计考虑了多种学科和问题类型，确保了其多样性和代表性。模型评估中采用了链式思维提示和英语翻译附加的策略，以优化不同类型问题的回答效果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，使用BEnQA数据集进行基准测试时，模型在英语问题上的表现明显优于孟加拉语问题，尤其是在推理性问题上，链式思维提示的使用使得模型性能提升了约15%。此外，附加英语翻译的策略显著提高了孟加拉语问题的回答准确性，提升幅度达到20%。

🎯 应用场景

该研究的潜在应用领域包括教育技术、语言学习和智能问答系统。BEnQA数据集的构建为孟加拉语的自然语言处理研究提供了基础，促进了多语言模型的开发和优化，具有重要的实际价值和社会影响。

📄 摘要（原文）

In this study, we introduce BEnQA, a dataset comprising parallel Bengali and English exam questions for middle and high school levels in Bangladesh. Our dataset consists of approximately 5K questions covering several subjects in science with different types of questions, including factual, application, and reasoning-based questions. We benchmark several Large Language Models (LLMs) with our parallel dataset and observe a notable performance disparity between the models in Bengali and English. We also investigate some prompting methods, and find that Chain-of-Thought prompting is beneficial mostly on reasoning questions, but not so much on factual ones. We also find that appending English translation helps to answer questions in Bengali. Our findings point to promising future research directions for improving the performance of LLMs in Bengali and more generally in low-resource languages.