LexC-Gen: Generating Data for Extremely Low-Resource Languages with Large Language Models and Bilingual Lexicons

📄 arXiv: 2402.14086v3 📥 PDF

作者: Zheng-Xin Yong, Cristina Menghini, Stephen H. Bach

分类: cs.CL, cs.AI, cs.LG

发布日期: 2024-02-21 (更新: 2024-10-28)

备注: EMNLP Findings 2024

💡 一句话要点

提出LexC-Gen以解决极低资源语言数据匮乏问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 低资源语言 数据生成 双语词典 自然语言处理 机器学习 情感分析 主题分类

📋 核心要点

  1. 现有方法在低资源语言的数据生成上面临词汇重叠有限的问题，导致翻译覆盖率低，无法有效利用双语词典。
  2. LexC-Gen通过双语词典生成与任务数据兼容的高资源语言数据，并将其翻译为低资源语言，提供了一种新的数据生成思路。
  3. 在17种极低资源语言上，LexC-Gen生成的数据在情感分析和主题分类任务上分别提高了5.6和8.9个百分点，显示出显著的效果提升。

📝 摘要（中文）

在低资源语言中，数据匮乏的问题可以通过利用高资源语言的标注任务数据和双语词典进行词对词翻译来解决。然而，双语词典与任务数据之间的词汇重叠往往有限，导致翻译覆盖率和词典利用率低下。为此，本文提出了基于词典条件的数据生成方法LexC-Gen，该方法能够大规模生成低资源语言的分类任务数据。具体而言，LexC-Gen首先利用双语词典中的高资源语言词汇生成与词典兼容的任务数据，然后通过双语词典将其翻译为低资源语言。通过在17种极低资源语言上的实验，LexC-Gen生成的数据在情感分析和主题分类任务上分别比现有的基于词典的翻译方法提高了5.6和8.9个百分点，显示出与专家翻译的黄金数据具有竞争力。消融研究表明，基于双语词典的条件生成是LexC-Gen的关键组成部分。

🔬 方法详解

问题定义：本文旨在解决极低资源语言中数据匮乏的问题。现有的基于双语词典的翻译方法由于词汇重叠有限，导致翻译覆盖率和利用率低下，无法满足任务需求。

核心思路：LexC-Gen的核心思路是利用双语词典中的高资源语言词汇生成与任务数据兼容的样本，然后通过翻译将其转化为低资源语言数据。这种方法有效地扩展了可用数据集，提升了模型的性能。

技术框架：LexC-Gen的整体架构包括两个主要阶段：首先，使用双语词典中的高资源语言词汇生成任务数据；其次，将生成的数据通过双语词典翻译为低资源语言。整个过程依赖于双语词典的条件生成，以确保生成数据的质量和相关性。

关键创新：LexC-Gen的主要创新在于其基于双语词典的条件生成机制，这一机制显著提高了生成数据的质量，与传统的词典翻译方法相比，能够更好地适应特定任务需求。

关键设计：在设计上，LexC-Gen注重词典的选择和数据生成的兼容性，确保生成的数据能够有效反映目标任务的特征。此外，损失函数的设计也考虑了生成数据的多样性和准确性，以优化模型的学习效果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在17种极低资源语言的实验中，LexC-Gen生成的数据在情感分析和主题分类任务上分别比现有的基于词典的翻译方法提高了5.6和8.9个百分点，显示出与专家翻译的黄金数据的竞争力，验证了其有效性。

🎯 应用场景

LexC-Gen的研究成果在多种应用场景中具有潜在价值，尤其是在需要处理低资源语言的自然语言处理任务中。其方法可以帮助开发更为高效的多语言模型，缩小低资源语言与高资源语言之间的性能差距，推动语言技术的普及与发展。

📄 摘要（原文）

Data scarcity in low-resource languages can be addressed with word-to-word translations from labeled task data in high-resource languages using bilingual lexicons. However, bilingual lexicons often have limited lexical overlap with task data, which results in poor translation coverage and lexicon utilization. We propose lexicon-conditioned data generation LexC-Gen, a method that generates low-resource-language classification task data at scale. Specifically, LexC-Gen first uses high-resource-language words from bilingual lexicons to generate lexicon-compatible task data, and then it translates them into low-resource languages with bilingual lexicons via word translation. Across 17 extremely low-resource languages, LexC-Gen generated data is competitive with expert-translated gold data, and yields on average 5.6 and 8.9 points improvement over existing lexicon-based word translation methods on sentiment analysis and topic classification tasks respectively. Through ablation study, we show that conditioning on bilingual lexicons is the key component of LexC-Gen. LexC-Gen serves as a potential solution to close the performance gap between open-source multilingual models, such as BLOOMZ and Aya-101, and state-of-the-art commercial models like GPT-4o on low-resource-language tasks.