GeMQuAD : Generating Multilingual Question Answering Datasets from Large Language Models using Few Shot Learning

📄 arXiv: 2404.09163v1 📥 PDF

作者: Amani Namboori, Shivam Mangale, Andy Rosenbaum, Saleh Soltan

分类: cs.CL, cs.AI

发布日期: 2024-04-14

备注: Accepted to The 37th International Conference on Neural Information Processing Systems (NeurIPS 2023)December 10-16, 2023 - SyntheticData4ML workshop, New Orleans, United States https://neurips.cc/Conferences/2023

💡 一句话要点

提出GeMQuAD以解决多语言问答数据生成问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多语言问答 数据生成 半监督学习 上下文学习 低资源语言 模型优化 机器学习

📋 核心要点

  1. 现有方法在使用ICL生成数据时，常常面临数据质量低和任务特异性不足的问题。
  2. 本文提出GeMQuAD，通过半监督学习方法，利用仅一个示例生成高质量的多语言问答数据。
  3. 实验结果显示，GeMQuAD在MLQA数据集上显著提升了模型性能，尤其在印地语和西班牙语上表现优异。

📝 摘要（中文）

大型语言模型（LLMs）的出现，尤其是上下文学习（ICL）能力，为各领域的数据生成带来了新机遇，同时减少了对大量数据收集和建模技术的需求。然而，ICL生成的数据往往质量较低，任务特异性受限。本文提出GeMQuAD，一种半监督学习方法，扩展了WeakDAP框架，应用于通过ICL生成的仅有一个目标语言示例的数据集。通过迭代识别高质量数据，我们的框架在低资源多语言环境下的抽取式问答任务中显著提升了模型性能。

🔬 方法详解

问题定义：本文旨在解决多语言问答任务中，使用ICL生成的数据质量低和任务特异性不足的问题。现有方法在生成数据时，往往依赖于大量示例，导致成本高和效率低。

核心思路：GeMQuAD通过半监督学习方法，扩展WeakDAP框架，利用仅一个目标语言的示例生成高质量数据，从而优化模型性能。该方法通过迭代识别和选择高质量数据，特别适用于低资源语言环境。

技术框架：整体流程包括数据生成、数据选择和模型训练三个主要模块。首先，使用AlexaTM 20B Seq2Seq LLM生成初始数据；然后，通过半监督学习方法迭代选择高质量数据；最后，利用选出的数据训练模型以提升性能。

关键创新：GeMQuAD的主要创新在于其能够在没有微调的情况下，仅依赖一个标注示例生成数据，显著降低了开发成本，并提高了多语言问答任务的效果。

关键设计：在参数设置上，采用了适应性损失函数以优化选择过程，并设计了高效的网络结构以支持快速迭代和数据选择。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，GeMQuAD在MLQA数据集上对比机器翻译增强模型，印地语和西班牙语的F1/EM分别提升了0.22/1.68和0.82/1.37。此外，相较于仅使用英语数据集训练的模型，印地语和西班牙语的F1/EM分别提升了5.05/6.50和3.81/3.69，显示出显著的性能优势。

🎯 应用场景

GeMQuAD的研究成果在多语言问答系统、跨语言信息检索和低资源语言处理等领域具有广泛的应用潜力。通过提高数据生成的质量和效率，该方法能够帮助开发更具成本效益的多语言AI系统，推动全球信息获取的平等性。

📄 摘要（原文）

The emergence of Large Language Models (LLMs) with capabilities like In-Context Learning (ICL) has ushered in new possibilities for data generation across various domains while minimizing the need for extensive data collection and modeling techniques. Researchers have explored ways to use this generated synthetic data to optimize smaller student models for reduced deployment costs and lower latency in downstream tasks. However, ICL-generated data often suffers from low quality as the task specificity is limited with few examples used in ICL. In this paper, we propose GeMQuAD - a semi-supervised learning approach, extending the WeakDAP framework, applied to a dataset generated through ICL with just one example in the target language using AlexaTM 20B Seq2Seq LLM. Through our approach, we iteratively identify high-quality data to enhance model performance, especially for low-resource multilingual setting in the context of Extractive Question Answering task. Our framework outperforms the machine translation-augmented model by 0.22/1.68 F1/EM (Exact Match) points for Hindi and 0.82/1.37 F1/EM points for Spanish on the MLQA dataset, and it surpasses the performance of model trained on an English-only dataset by 5.05/6.50 F1/EM points for Hindi and 3.81/3.69 points F1/EM for Spanish on the same dataset. Notably, our approach uses a pre-trained LLM for generation with no fine-tuning (FT), utilizing just a single annotated example in ICL to generate data, providing a cost-effective development process.