Efficiently Adapting Pretrained Language Models To New Languages

📄 arXiv: 2311.05741v2 📥 PDF

作者: Zoltan Csaki, Pian Pawakapan, Urmish Thakker, Qiantong Xu

分类: cs.CL, cs.AI, cs.LG

发布日期: 2023-11-09 (更新: 2023-12-14)

备注: Accepted to "The third Neurips Workshop on Efficient Natural Language and Speech Processing 2023" (ENLSP-III)

💡 一句话要点

提出高效适应预训练语言模型以解决低资源语言问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 预训练模型 低资源语言 语言适应 跨语言迁移 分词器优化 数据混合策略

📋 核心要点

  1. 现有的大型语言模型在低资源语言上的性能不理想，主要由于训练数据的偏向性和缺乏高质量数据。
  2. 本文提出通过改进分词器的编码效率和数据混合策略，来高效适应预训练的LLM到新语言，避免灾难性遗忘。
  3. 实验结果显示，适应后的模型在匈牙利语和泰语上表现优于现有开源模型，同时对英语性能影响最小。

📝 摘要（中文）

近期的大型语言模型（LLM）在低资源语言上的表现不佳，因为这些模型的训练数据通常以英语和其他高资源语言为主。此外，由于缺乏高质量的训练数据，从零开始训练低资源语言模型面临挑战。适应预训练的LLM可以减少新语言的数据需求，同时提供跨语言迁移能力。然而，简单地适应新语言会导致灾难性遗忘和低效的分词器。本文研究如何高效地将现有的预训练LLM适应到新语言，提出通过从目标语言中添加新标记来提高分词器的编码效率，并研究数据混合策略以减轻遗忘。实验表明，将英语LLM适应到匈牙利语和泰语的效果优于开源模型，且对英语的回归最小。

🔬 方法详解

问题定义：本文旨在解决现有预训练语言模型在适应低资源语言时面临的灾难性遗忘和分词器效率低下的问题。现有方法往往无法有效利用目标语言的数据，导致性能下降。

核心思路：论文提出通过在分词器中添加目标语言的新标记来提高编码效率，并采用数据混合策略来减轻遗忘现象。这种方法旨在在保留原有知识的同时，增强模型对新语言的适应能力。

技术框架：整体架构包括预训练模型的选择、分词器的改进和数据混合策略的实施。首先，选择一个强大的预训练LLM，然后在其分词器中添加目标语言的标记，最后通过混合不同语言的数据进行训练。

关键创新：最重要的技术创新在于通过改进分词器的编码效率和引入数据混合策略，有效地减轻了模型在适应新语言时的灾难性遗忘。这与传统方法的直接适应形成了鲜明对比。

关键设计：在参数设置上，针对目标语言的标记数量进行了优化，同时在损失函数中引入了平衡项，以确保新旧知识的平衡。此外，网络结构保持了预训练模型的原有设计，确保了适应过程的高效性。

🖼️ 关键图片

img_0

📊 实验亮点

实验结果表明，适应后的模型在匈牙利语和泰语上的性能超过了现有的开源模型，具体提升幅度未知。同时，对英语的回归影响最小，展示了该方法的有效性和实用性。

🎯 应用场景

该研究的潜在应用领域包括多语言自然语言处理、跨语言信息检索和机器翻译等。通过高效适应预训练模型，能够在低资源语言环境中提升模型性能，推动全球语言技术的普及与发展。未来，该方法可能对多语言学习和跨文化交流产生积极影响。

📄 摘要（原文）

Recent large language models (LLM) exhibit sub-optimal performance on low-resource languages, as the training data of these models is usually dominated by English and other high-resource languages. Furthermore, it is challenging to train models for low-resource languages, especially from scratch, due to a lack of high quality training data. Adapting pretrained LLMs reduces the need for data in the new language while also providing cross lingual transfer capabilities. However, naively adapting to new languages leads to catastrophic forgetting and poor tokenizer efficiency. In this work, we study how to efficiently adapt any existing pretrained LLM to a new language without running into these issues. In particular, we improve the encoding efficiency of the tokenizer by adding new tokens from the target language and study the data mixing recipe to mitigate forgetting. Our experiments on adapting an English LLM to Hungarian and Thai show that our recipe can reach better performance than open source models on the target language, with minimal regressions on English.