TaCo: Enhancing Cross-Lingual Transfer for Low-Resource Languages in LLMs through Translation-Assisted Chain-of-Thought Processes

📄 arXiv: 2311.10797v2 📥 PDF

作者: Bibek Upadhayay, Vahid Behzadan

分类: cs.CL, cs.AI

发布日期: 2023-11-17 (更新: 2024-04-05)

🔗 代码/项目: GITHUB

💡 一句话要点

提出TaCo以解决低资源语言的跨语言迁移问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多语言模型 低资源语言 跨语言迁移 指令调优 翻译辅助

📋 核心要点

  1. 现有的多语言大语言模型在预训练和微调过程中成本高昂，且缺乏足够的基准数据集和评估指标。
  2. 本文提出的TaCo方法通过翻译辅助的链式思维过程，利用多语言指令调优数据集来提升低资源语言的模型性能。
  3. 实验结果显示，使用TaCo方法的Guanaco-33B模型在低资源语言上取得了82%的得分，性能显著提升。

📝 摘要（中文）

创建多语言大语言模型（LLMs）面临重大挑战。对LLMs进行预训练或微调以适应新语言显然成本高昂。此外，基准数据集和用于评估多语言设置中模型性能的指标也存在局限性。本文提出了针对这两个挑战的经济有效解决方案。首先，我们引入了多语言指令调优数据集（MITS），该数据集包含132种语言的Alpaca-52K、Dolly-15K和Vicuna基准翻译。其次，我们提出了一种新方法TaCo：翻译辅助跨语言性，利用翻译在链式思维过程中对LLMs进行指令调优。作为概念验证，我们对指令调优的Guanaco-33B模型进行了实验，使用TaCo方法在三种低资源语言和一种高资源语言上进行了进一步的指令调优。结果表明，TaCo方法在Vicuna基准数据集中对低资源语言的得分达到了82%，相比单独的指令调优性能翻倍。TaCo在创建多语言LLMs方面显示出潜力，即使对于低资源语言。我们已发布数据集和模型适配器，鼓励研究社区利用这些资源推进多语言LLMs的研究。

🔬 方法详解

问题定义：本文旨在解决多语言大语言模型在低资源语言上的迁移学习效率低下和成本高昂的问题。现有方法在数据集和评估指标上存在局限，导致模型性能无法有效提升。

核心思路：论文提出的TaCo方法通过翻译辅助的链式思维过程，结合多语言指令调优数据集，采用课程学习的方式来提升LLMs在新语言上的适应性和性能。

技术框架：整体架构包括数据集构建、翻译辅助的链式思维过程和指令调优三个主要模块。首先构建多语言指令调优数据集，然后利用翻译进行链式思维，最后对模型进行指令调优。

关键创新：TaCo方法的核心创新在于将翻译与链式思维结合，形成了一种新的指令调优策略。这一方法与传统的单一指令调优方式相比，显著提高了低资源语言的模型性能。

关键设计：在模型训练过程中，采用了特定的损失函数和参数设置，以确保翻译的准确性和链式思维的有效性。具体的网络结构和参数细节在实验部分进行了详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，使用TaCo方法的Guanaco-33B模型在Vicuna基准数据集中对低资源语言的得分达到了82%，相比单独的指令调优方法性能翻倍，展现了显著的提升效果。

🎯 应用场景

该研究的潜在应用领域包括多语言翻译、跨文化交流和低资源语言的自然语言处理。通过提升低资源语言的模型性能，TaCo方法有助于推动全球语言的数字化和信息获取，具有重要的社会价值和实际意义。

📄 摘要（原文）

Creating multilingual LLMs poses a significant challenge. Pretraining or fine-tuning LLMs to adopt new languages is evidently very costly. Furthermore, there exist limitations concerning benchmark datasets and the metrics used to measure model performance in multilingual settings. This paper proposes cost-effective solutions to both aforementioned challenges. Firstly, we introduce the Multilingual Instruction-Tuning Dataset (MITS), comprised of Alpaca-52K, Dolly-15K, and Vicuna Benchmark translations into 132 languages. Secondly, we propose a new method called \emph{TaCo: Translation-Assisted Cross-Linguality}, which utilizes translations in a chain-of-thought process to instruction-tune LLMs on new languages through a curriculum-learning process. As a proof of concept, we experimented with the instruction-tuned Guanaco-33B model, performing further instruction tuning using our proposed TaCo method in three low-resource languages and one high-resource language. Our results indicate that the TaCo method impresses GPT-4 with an 82\% score for a low-resource language in the Vicuna Benchmark dataset, doubling the performance in contrast to instruction tuning alone. Furthermore, TaCo shows promise in creating multilingual LLMs, even for low-resource languages. We have released our datasets and model adapters\footnote{https://github.com/UNHSAILLab/TaCo} , encouraging the research community to utilize these resources to advance work on multilingual LLMs.