Efficient Language Adaptive Pre-training: Extending State-of-the-Art Large Language Models for Polish

📄 arXiv: 2402.09759v1 📥 PDF

作者: Szymon Ruciński

分类: cs.CL, cs.AI

发布日期: 2024-02-15

备注: 10 pages

💡 一句话要点

提出语言自适应预训练方法以提升波兰语生成能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 语言自适应预训练 波兰语生成 大型语言模型 微调 自然语言处理

📋 核心要点

  1. 现有的波兰语生成模型在性能和效率上存在不足，尤其是在数据需求和训练时间方面。
  2. 论文提出了一种语言自适应预训练（LAPT）方法，通过高效微调英语LLMs来生成波兰语文本。
  3. 实验结果表明，Curie-7B-v1模型在波兰语生成任务中表现优异，困惑度最低且与最佳模型的差距极小。

📝 摘要（中文）

本研究探讨了对基础英语大型语言模型（LLMs）进行微调以生成波兰语文本的潜力。首先在一个高质量的数据集上进行语言自适应预训练（LAPT），该数据集大小为3.11GB，包含2.76亿个波兰语标记。LAPT之后，进行了额外的微调以解决九个KLEJ挑战。训练后的模型Curie-7B-v1在解码器基础的波兰语模型中生成文本的困惑度最低为3.02，并且在9个任务中有8个任务的表现与最佳的波兰编码-解码模型相差不到2%。该模型仅使用了典型数据集大小的约2-3%进行波兰语学习，且LAPT在不到五天内使用消费级GPU完成，显示出该方法的高效性。模型在波兰语的能力显著提升，证明了通过训练仅1.2%的参数向现有LLMs添加新语言的可行性。为了促进社区的协作进步，该模型已作为开源发布。

🔬 方法详解

问题定义：本研究旨在解决现有波兰语生成模型在性能和数据需求上的不足，尤其是如何有效利用已有的英语LLMs生成高质量的波兰语文本。

核心思路：论文的核心思路是通过语言自适应预训练（LAPT）方法，利用高质量的波兰语数据集对英语LLMs进行微调，从而提升其在波兰语生成任务中的表现。

技术框架：整体架构包括两个主要阶段：首先进行LAPT，在3.11GB的波兰语数据集上进行预训练；随后进行针对九个KLEJ挑战的微调。

关键创新：最重要的技术创新在于通过仅训练1.2%的参数实现了对现有LLMs的有效扩展，显著降低了对数据集大小的需求和训练时间。

关键设计：在参数设置上，模型使用了约2-3%的典型数据集大小进行学习，LAPT过程在不到五天内完成，使用了消费级GPU，显示出该方法的高效性。具体的损失函数和网络结构细节未在摘要中详细说明。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，Curie-7B-v1模型在波兰语生成任务中取得了最低困惑度3.02，并且在9个任务中有8个任务的表现与最佳波兰编码-解码模型相差不到2%。该模型仅使用了典型数据集大小的约2-3%进行学习，展现了显著的效率提升。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、机器翻译和多语言对话系统等。通过有效地将波兰语纳入现有的LLMs，能够提升多语言环境下的文本生成能力，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

This study explores the potential of fine-tuning foundational English Large Language Models (LLMs) for generating Polish text. The first step involves Language Adaptive Pre-training (LAPT) on a high-quality dataset of 3.11 GB, consisting of 276 million Polish tokens. The LAPT is followed by additional fine-tuning aimed at solving nine KLEJ challenges. Our trained model Curie-7B-v1 not only generates Polish text with the lowest perplexity of 3.02 among decoder-based Polish models but also closely rivals the performance of the best Polish encoder-decoder models with a less than 2% gap on 8 out of 9 tasks. Curie-7B-v1 used approximately 2-3% of a typical dataset size to learn Polish. The LAPT was completed in less than five days using a consumer GPU, highlighting the method's efficiency. The proficiency of the model in Polish was significantly enhanced, demonstrating the viability of this approach for adding new languages to existing LLMs by training just 1.2% of its parameters. To contribute to the community's collaborative progress, the model has been released as open-source.