Impact of Tokenization on LLaMa Russian Adaptation

📄 arXiv: 2312.02598v1 📥 PDF

作者: Mikhail Tikhomirov, Daniil Chernyshev

分类: cs.CL, cs.AI

发布日期: 2023-12-05

💡 一句话要点

通过词汇替换提升LLaMa模型在俄语上的性能，加速微调与推理。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 俄语适配 词汇替换 Tokenization 指令微调

📋 核心要点

  1. 现有LLM在非英语任务中表现不佳，主要原因是tokenization效率低，源于预训练数据中非英语语言表示不足。
  2. 该论文提出通过词汇替换来优化LLaMa模型在俄语上的tokenization，从而提升模型性能。
  3. 实验结果表明，词汇替换不仅提升了俄语性能，还加速了微调和推理，并降低了内存消耗，用户偏好度更高。

📝 摘要（中文）

最新的指令微调大型语言模型(LLM)在各种任务上表现出色，但对于非英语输入，性能常常下降。有证据表明，原因在于低效的tokenization，这是由于预训练数据中目标语言的表示不足，阻碍了模型对非英语指令的理解，限制了目标语言指令微调的潜力。本文研究了在LLaMa俄语适配的背景下，通过词汇替换来解决此问题的可能性。我们探索了三种词汇适配变体，并在Saiga指令微调和俄罗斯Super Glue基准上的微调中测试了它们的性能。自动评估结果表明，词汇替换不仅提高了模型在俄语中的质量，还加速了微调（35%）和推理（高达60%），同时降低了内存消耗。对指令微调模型进行的额外人工评估表明，与原始Saiga-LLaMa模型相比，使用俄语适配词汇的模型生成的答案更受用户青睐。

🔬 方法详解

问题定义：论文旨在解决LLaMa等大型语言模型在处理俄语等非英语语言时性能下降的问题。现有方法的痛点在于，由于预训练数据中俄语等语言的token表示不足，导致模型无法有效理解和生成俄语文本，从而限制了指令微调的效果。

核心思路：论文的核心思路是通过词汇替换，即用更适合俄语的token替换LLaMa模型原有的词汇表，从而提高模型对俄语文本的tokenization效率。这样可以使模型更好地理解俄语指令，并生成更准确、更自然的俄语回复。

技术框架：该研究主要包含以下几个阶段：1) 构建俄语适配的词汇表：探索三种词汇适配变体（具体细节未知）。2) 使用Saiga数据集进行指令微调：将LLaMa模型与俄语适配的词汇表结合，在Saiga数据集上进行指令微调。3) 在Russian Super Glue基准上进行微调：进一步评估模型在俄语自然语言理解任务上的性能。4) 自动评估和人工评估：使用自动指标和人工评估来衡量模型在俄语生成和理解方面的质量。

关键创新：该研究的关键创新在于探索了词汇替换在提升LLM非英语语言性能方面的潜力。与传统的微调方法不同，该方法着重于优化模型的tokenization过程，从而更有效地利用预训练知识。

关键设计：论文中涉及的关键设计包括：1) 三种词汇适配变体的具体实现方式（未知）。2) Saiga指令微调数据集的构建和使用。3) Russian Super Glue基准的评估指标和方法。4) 自动评估指标的选择和人工评估流程的设计。

📊 实验亮点

实验结果表明，词汇替换策略能够显著提升LLaMa模型在俄语任务上的性能。具体而言，微调速度提升了35%，推理速度提升高达60%，同时降低了内存消耗。此外，人工评估显示，使用俄语适配词汇的模型生成的答案更受用户青睐，表明该方法在提升用户体验方面具有显著优势。

🎯 应用场景

该研究成果可应用于提升LLM在各种非英语语言上的性能，尤其是在机器翻译、俄语自然语言处理、跨语言信息检索等领域具有重要应用价值。通过优化tokenization，可以显著提高LLM在特定语言环境下的效率和准确性，从而推动多语言AI技术的发展。

📄 摘要（原文）

Latest instruction-tuned large language models (LLM) show great results on various tasks, however, they often face performance degradation for non-English input. There is evidence that the reason lies in inefficient tokenization caused by low language representation in pre-training data which hinders the comprehension of non-English instructions, limiting the potential of target language instruction-tuning. In this work we investigate the possibility of addressing the issue with vocabulary substitution in the context of LLaMa Russian language adaptation. We explore three variants of vocabulary adaptation and test their performance on Saiga instruction-tuning and fine-tuning on Russian Super Glue benchmark. The results of automatic evaluation show that vocabulary substitution not only improves the model's quality in Russian but also accelerates fine-tuning (35%) and inference (up to 60%) while reducing memory consumption. Additional human evaluation of the instruction-tuned models demonstrates that models with Russian-adapted vocabulary generate answers with higher user preference than the original Saiga-LLaMa model.