An Empirical Study on Cross-lingual Vocabulary Adaptation for Efficient Language Model Inference

📄 arXiv: 2402.10712v3 📥 PDF

作者: Atsuki Yamaguchi, Aline Villavicencio, Nikolaos Aletras

分类: cs.CL, cs.AI

发布日期: 2024-02-16 (更新: 2024-09-26)

备注: Accepted at EMNLP 2024 Findings

💡 一句话要点

提出跨语言词汇适应方法以提升语言模型推理效率

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 跨语言适应 生成模型 推理效率 多语言处理 自然语言理解

📋 核心要点

  1. 现有的生成大型语言模型在处理非英语文本时推理效率低下，导致时间和成本增加。
  2. 论文通过实证研究五种跨语言词汇适应方法，旨在提升生成LLMs在多语言环境下的推理效率。
  3. 研究结果表明，CVA方法可使LLMs的推理速度提高至271.5%，且在均衡多语言数据上预训练的模型表现出色。

📝 摘要（中文）

当前最先进的生成大型语言模型（LLMs）在开发过程中过于依赖以英语为中心的分词器、词汇和预训练数据。尽管一些LLMs具备多语言能力，但研究表明，在生成非英语文本时，其推理效率显著下降，导致推理时间和成本增加。为此，提出了跨语言词汇适应（CVA）方法以改善模型在目标语言上的下游性能。然而，这些方法在提升生成LLMs推理效率方面的有效性尚未得到充分探讨。本文对五种CVA方法在四种生成LLMs（包括单语和多语模型）上的实证研究，涵盖四种类型多样的语言和四个自然语言理解任务。研究发现，CVA显著提高了LLMs的推理速度，最高可达271.5%。此外，适应在更均衡的多语言数据上预训练的LLMs，其下游性能与原始模型相当。

🔬 方法详解

问题定义：本文旨在解决生成大型语言模型在非英语文本生成时推理效率低下的问题。现有方法在多语言适应方面的效果尚不理想，导致推理时间和成本增加。

核心思路：论文提出跨语言词汇适应（CVA）方法，通过调整模型的词汇表以适应目标语言，从而提升推理效率和下游任务性能。

技术框架：研究采用五种CVA方法，分别在四种生成LLMs上进行实证测试，涵盖多种语言和自然语言理解任务。整体流程包括模型选择、词汇适应和性能评估三个主要阶段。

关键创新：最重要的创新在于系统性地评估CVA方法对生成LLMs推理效率的影响，填补了现有研究的空白。与传统方法相比，CVA显著提升了推理速度。

关键设计：在实验中，采用了不同的参数设置和损失函数，以确保模型在多语言环境下的适应性和性能优化。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，跨语言词汇适应方法能够使生成大型语言模型的推理速度提升至271.5%。此外，适应在均衡多语言数据上预训练的模型，其下游任务性能与原始模型相当，展现出良好的实用性。

🎯 应用场景

该研究的潜在应用领域包括多语言文本生成、机器翻译和跨语言信息检索等。通过提升生成LLMs在非英语文本处理中的效率，能够降低企业的运营成本，提高用户体验，具有重要的实际价值和未来影响。

📄 摘要（原文）

The development of state-of-the-art generative large language models (LLMs) disproportionately relies on English-centric tokenizers, vocabulary and pre-training data. Despite the fact that some LLMs have multilingual capabilities, recent studies have shown that their inference efficiency deteriorates when generating text in languages other than English. This results in increased inference time and costs. Cross-lingual vocabulary adaptation (CVA) methods have been proposed for adapting models to a target language aiming to improve downstream performance. However, the effectiveness of these methods on increasing inference efficiency of generative LLMs has yet to be explored. In this paper, we perform an empirical study of five CVA methods on four generative LLMs (including monolingual and multilingual models) across four typologically-diverse languages and four natural language understanding tasks. We find that CVA substantially contributes to LLM inference speedups of up to 271.5\%. We also show that adapting LLMs that have been pre-trained on more balanced multilingual data results in downstream performance comparable to the original models.