Leveraging LLMs for Synthesizing Training Data Across Many Languages in Multilingual Dense Retrieval

📄 arXiv: 2311.05800v2 📥 PDF

作者: Nandan Thakur, Jianmo Ni, Gustavo Hernández Ábrego, John Wieting, Jimmy Lin, Daniel Cer

分类: cs.IR, cs.AI, cs.CL

发布日期: 2023-11-10 (更新: 2024-04-15)

备注: Accepted at NAACL 2024. Data released at https://github.com/google-research-datasets/swim-ir

🔗 代码/项目: GITHUB

💡 一句话要点

提出SWIM-IR数据集以解决多语言密集检索训练数据不足问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多语言检索 合成训练数据 大型语言模型 密集检索 数据集构建 机器学习 信息检索

📋 核心要点

  1. 现有的多语言密集检索模型由于训练数据稀缺，面临性能不足的挑战。
  2. 本文提出SWIM-IR数据集，通过SAP方法生成合成训练数据，支持多语言检索模型的微调。
  3. 实验结果表明，SWIM-X模型在多个检索基准上表现出色，能够有效替代昂贵的人工标注数据。

📝 摘要（中文）

由于多语言检索中训练数据的不均衡和稀缺，密集检索模型的成功有限。合成训练数据生成具有潜力，但目前仅针对英语进行研究。为此，本文开发了SWIM-IR，一个包含33种语言的合成检索训练数据集，旨在无须人工监督地对多语言密集检索模型进行微调。通过提出SAP（先总结后提问提示），LLM生成文本摘要以辅助查询生成。使用SWIM-IR，我们探索了多语言密集检索模型的合成微调，并在多个检索基准上进行了评估，结果显示SWIM-X模型在性能上与人工监督的密集检索模型相当。

🔬 方法详解

问题定义：本文旨在解决多语言密集检索模型在训练数据稀缺情况下的性能不足问题。现有方法主要依赖于人工标注数据，成本高且覆盖面有限。

核心思路：提出SWIM-IR数据集，通过合成训练数据来增强多语言检索模型的训练，利用大型语言模型（LLM）生成目标语言的查询。SAP方法通过先生成文本摘要来提高查询的质量和信息量。

技术框架：整体流程包括数据集构建和模型微调两个主要阶段。首先，使用SAP生成合成数据，然后利用SWIM-IR对多语言密集检索模型进行微调。

关键创新：SWIM-IR数据集的构建和SAP方法是本文的核心创新，前者解决了多语言数据稀缺的问题，后者提高了查询生成的有效性。

关键设计：在模型微调过程中，采用了特定的损失函数和优化策略，以确保生成的查询在多语言环境下的有效性和准确性。

🖼️ 关键图片

img_0
img_1

📊 实验亮点

实验结果显示，SWIM-X模型在XOR-Retrieve、MIRACL和XTREME-UP等检索基准上表现优异，性能与人工监督的mContriever-X模型相当，证明了SWIM-IR数据集的有效性和实用性。

🎯 应用场景

该研究的潜在应用领域包括跨语言信息检索、机器翻译和多语言搜索引擎等。通过提供高质量的合成训练数据，SWIM-IR可以显著降低多语言检索模型的训练成本，推动相关技术的普及与发展。

📄 摘要（原文）

There has been limited success for dense retrieval models in multilingual retrieval, due to uneven and scarce training data available across multiple languages. Synthetic training data generation is promising (e.g., InPars or Promptagator), but has been investigated only for English. Therefore, to study model capabilities across both cross-lingual and monolingual retrieval tasks, we develop SWIM-IR, a synthetic retrieval training dataset containing 33 (high to very-low resource) languages for fine-tuning multilingual dense retrievers without requiring any human supervision. To construct SWIM-IR, we propose SAP (summarize-then-ask prompting), where the large language model (LLM) generates a textual summary prior to the query generation step. SAP assists the LLM in generating informative queries in the target language. Using SWIM-IR, we explore synthetic fine-tuning of multilingual dense retrieval models and evaluate them robustly on three retrieval benchmarks: XOR-Retrieve (cross-lingual), MIRACL (monolingual) and XTREME-UP (cross-lingual). Our models, called SWIM-X, are competitive with human-supervised dense retrieval models, e.g., mContriever-X, finding that SWIM-IR can cheaply substitute for expensive human-labeled retrieval training data. SWIM-IR dataset and SWIM-X models are available at https://github.com/google-research-datasets/SWIM-IR.