Efficient and Effective Vocabulary Expansion Towards Multilingual Large Language Models

📄 arXiv: 2402.14714v1 📥 PDF

作者: Seungduk Kim, Seungtaek Choi, Myeongho Jeong

分类: cs.CL, cs.AI

发布日期: 2024-02-22

💡 一句话要点

提出EEVE方法以提升多语言大模型的韩语处理能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多语言模型 词汇扩展 韩语处理 参数冻结 子词初始化 自然语言处理 开源模型

📋 核心要点

  1. 现有以英语为中心的语言模型在处理非英语文本时效率低下，导致多语言能力不足。
  2. 论文提出的EEVE方法通过参数冻结和子词初始化，显著提升了韩语处理能力，减少了对大量训练数据的依赖。
  3. 实验结果表明， exttt{EEVE-Korean-10.8B-v1.0}在Open Ko-LLM排行榜上超越了大多数指令调优的模型，显示出卓越的性能。

📝 摘要（中文）

本报告介绍了 exttt{EEVE-Korean-v1.0}，这是一个针对大型语言模型的韩语适配版本，展现了在英语和韩语文本理解方面的卓越能力。基于近期的以英语为中心的强大语言模型，如SOLAR-10.7B和Phi-2，非英语文本的处理效率较低。我们提出了一种高效且有效的词汇扩展（EEVE）方法，包含参数冻结和子词初始化。与以往认为新嵌入需要数万亿训练标记的观点不同，我们的方法在仅使用20亿标记的情况下显著提升了非英语能力。到2024年1月，我们的模型 exttt{EEVE-Korean-10.8B-v1.0}在Open Ko-LLM排行榜上排名第一，成为开源社区中领先的韩语预训练模型。我们将在Hugging Face上开源我们的模型，以支持多语言的开放研究社区。

🔬 方法详解

问题定义：当前大型语言模型在处理非英语文本时，尤其是韩语时，存在效率低下和能力不足的问题，主要由于使用了以英语为中心的标记器。

核心思路：论文提出的EEVE方法通过参数冻结和子词初始化，旨在有效扩展词汇，从而提升非英语文本的处理能力，减少对海量训练数据的需求。

技术框架：该方法的整体架构包括两个主要模块：首先是参数冻结，确保已有知识的保留；其次是子词初始化，通过优化词汇表来提升模型对韩语的理解能力。

关键创新：最重要的创新在于提出了一种新的词汇扩展方法，能够在仅使用20亿标记的情况下显著提升模型的非英语能力，这与以往需要数万亿标记的观点形成鲜明对比。

关键设计：在参数设置上，模型采用了冻结已有参数的策略，确保在扩展词汇时不会丢失已有的知识。同时，子词初始化的设计使得模型能够更好地适应韩语的语言特性。具体的损失函数和网络结构细节在论文中有详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示， exttt{EEVE-Korean-10.8B-v1.0}在Open Ko-LLM排行榜上超越了大多数指令调优的模型，成为领先的韩语预训练模型，展示了在仅使用20亿标记的情况下显著提升非英语能力的潜力。

🎯 应用场景

该研究的潜在应用领域包括多语言自然语言处理、跨语言信息检索和机器翻译等。通过提升韩语处理能力，EEVE方法能够为多语言用户提供更好的服务，推动相关技术的发展和应用。未来，该方法也可能被扩展到其他语言的处理，进一步促进多语言模型的研究与应用。

📄 摘要（原文）

This report introduces \texttt{EEVE-Korean-v1.0}, a Korean adaptation of large language models that exhibit remarkable capabilities across English and Korean text understanding. Building on recent highly capable but English-centric LLMs, such as SOLAR-10.7B and Phi-2, where non-English texts are inefficiently processed with English-centric tokenizers, we present an efficient and effective vocabulary expansion (EEVE) method, which encompasses parameter freezing and subword initialization. In contrast to previous efforts that believe new embeddings require trillions of training tokens, we show that our method can significantly boost non-English proficiency within just 2 billion tokens. Surpassing most instruction-tuned LLMs on the Open Ko-LLM Leaderboard, as of January 2024, our model \texttt{EEVE-Korean-10.8B-v1.0} ranks as the leading Korean pre-trained model in the open-source community, according to Hugging Face's leaderboard. We open-source our models on Huggingface to empower the open research community in various languages.