LLaMA Beyond English: An Empirical Study on Language Capability Transfer

📄 arXiv: 2401.01055v2 📥 PDF

作者: Jun Zhao, Zhihao Zhang, Luhui Gao, Qi Zhang, Tao Gui, Xuanjing Huang

分类: cs.CL, cs.AI

发布日期: 2024-01-02 (更新: 2024-01-12)

💡 一句话要点

提出有效的语言能力迁移方法以提升非英语LLM表现

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 语言模型 迁移学习 多语言处理 低资源语言 指令调优

📋 核心要点

  1. 现有的主流大型语言模型在非英语语言上的表现受限于其以英语为主的预训练语料，导致迁移能力不足。
  2. 本文提出通过词汇扩展、进一步预训练和指令调优等方法，有效地将LLaMA的能力迁移至非英语语言。
  3. 实验结果显示，模型在知识对齐和响应质量上可与最先进的迁移模型相媲美，且在低资源语言中表现一致。

📝 摘要（中文）

近年来，大型语言模型（LLMs）取得了显著进展，如ChatGPT在复杂任务中表现出色。然而，许多主流LLMs（如LLaMA）在以英语为主的语料库上进行预训练，这限制了它们在其他非英语语言中的表现。本文聚焦于如何有效地将语言生成和指令跟随能力转移到非英语语言。通过对LLaMA进行广泛的实证研究，分析词汇扩展、进一步预训练和指令调优等关键因素的影响，评估模型知识水平和响应质量。实验结果表明，使用不到1%的预训练数据，模型在知识对齐和响应质量上可与最先进的迁移模型相媲美，尤其在十三种低资源语言中也展现出类似趋势。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在非英语语言上的能力迁移问题，现有方法在多语言适应性上存在不足，尤其是低资源语言的表现不佳。

核心思路：通过对LLaMA进行词汇扩展、进一步预训练和指令调优，提升其在非英语语言的生成能力和指令遵循能力，旨在实现更好的迁移效果。

技术框架：整体框架包括三个主要阶段：首先进行词汇扩展以适应目标语言，其次进行进一步的预训练以增强模型的语言理解能力，最后通过指令调优优化模型的响应质量。

关键创新：最重要的创新在于通过系统的实证研究，证明了在使用不到1%的预训练数据的情况下，模型在知识对齐和响应质量上能够达到与最先进模型相当的水平。

关键设计：在实验中，采用了标准化测试基准（如C-Eval、MMLU等）来评估模型性能，设计了多种评估指标，包括准确性、流畅性、信息量、逻辑一致性和无害性等，以全面评估模型的响应质量。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，LLaMA在知识对齐和响应质量上与最先进的迁移模型相当，且在使用不到1%的预训练数据的情况下，能够在十三种低资源语言中实现类似的性能提升，展示了其强大的迁移能力。

🎯 应用场景

该研究的潜在应用领域包括多语言聊天机器人、跨语言信息检索和非英语教育工具等。通过提升非英语LLM的表现，能够更好地服务于全球用户，促进多语言交流与理解，具有重要的实际价值和社会影响。

📄 摘要（原文）

In recent times, substantial advancements have been witnessed in large language models (LLMs), exemplified by ChatGPT, showcasing remarkable proficiency across a range of complex tasks. However, many mainstream LLMs (e.g. LLaMA) are pretrained on English-dominant corpus, which limits their performance in other non-English languages. In this paper, we focus on how to effectively transfer the capabilities of language generation and following instructions to a non-English language. To answer this question, we conduct an extensive empirical investigation based on LLaMA, accumulating over 1440 GPU hours. We analyze the impact of key factors such as vocabulary extension, further pretraining, and instruction tuning on transfer. To accurately assess the model's level of knowledge, we employ four widely used standardized testing benchmarks: C-Eval, MMLU, AGI-Eval, and GAOKAO-Bench. Furthermore, a comprehensive evaluation of the model's response quality is conducted, considering aspects such as accuracy, fluency, informativeness, logical coherence, and harmlessness, based on LLM-Eval, a benchmarks consisting instruction tasks from 17 diverse categories. Our evaluation results demonstrate that comparable performance to state-of-the-art transfer models can be achieved with less than 1% of the pretraining data, both in terms of knowledge alignment and response quality. Furthermore, the experimental outcomes across the thirteen low-resource languages also exhibit similar trends. We anticipate that the conclusions revealed by the experiments will aid the community in developing non-English LLMs.