Cendol: Open Instruction-tuned Generative Large Language Models for Indonesian Languages

📄 arXiv: 2404.06138v2 📥 PDF

作者: Samuel Cahyawijaya, Holy Lovenia, Fajri Koto, Rifki Afina Putri, Emmanuel Dave, Jhonson Lee, Nuur Shadieq, Wawan Cenggoro, Salsabil Maulana Akbar, Muhammad Ihza Mahendra, Dea Annisayanti Putri, Bryan Wilie, Genta Indra Winata, Alham Fikri Aji, Ayu Purwarianti, Pascale Fung

分类: cs.CL

发布日期: 2024-04-09 (更新: 2024-07-08)

备注: Cendol models are released under Apache 2.0 license and will be made publicly available soon

💡 一句话要点

提出Cendol以解决印尼低资源语言的生成模型问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 低资源语言 印尼语言 生成模型 词汇适应 安全性评估 文化价值

📋 核心要点

  1. 现有大型语言模型在低资源语言（如印尼土著语言）中表现不佳，存在质量差距。
  2. Cendol通过构建多种架构的印尼LLM，采用词汇适应等方法来提升低资源语言的生成能力。
  3. Cendol在多项任务中实现了20%的性能提升，并展示了良好的泛化能力和人类偏好。

📝 摘要（中文）

大型语言模型（LLMs）在多个领域和语言中展现出卓越的人类类能力。然而，在低资源语言（如印尼土著语言）中，存在显著的质量差距，导致其在这些语言环境中效果不佳。为了解决这一问题，我们提出了Cendol，一个包含多种模型架构和尺寸的印尼LLM集合。Cendol在多项任务中表现出色，提升了20%的效果，并展示了其在未见任务和印尼土著语言中的泛化能力。此外，尽管在捕捉印尼的土著知识和文化价值方面存在局限，Cendol模型仍展现出较高的人类偏好。我们还讨论了参数高效调优（如LoRA）在语言适应中的不足，并提出了词汇适应的替代方案以提高效率。最后，我们评估了Cendol的安全性，展示了在一种语言（如英语）中的预训练安全性可以转移到低资源语言（如印尼），即使没有RLHF和安全微调。

🔬 方法详解

问题定义：本论文旨在解决低资源语言（如印尼土著语言）在大型语言模型中的表现不足问题。现有方法在这些语言的适应性和有效性上存在显著缺陷。

核心思路：论文提出Cendol，通过构建多种模型架构（包括解码器和编码-解码器）来提升印尼语言的生成能力，并引入词汇适应以提高效率。

技术框架：Cendol的整体架构包括多个模型尺寸的生成模型，涵盖解码器和编码-解码器架构，针对不同任务进行训练和评估。

关键创新：Cendol的主要创新在于其在低资源语言上的有效性和泛化能力，尤其是通过词汇适应替代传统的参数高效调优方法（如LoRA）。

关键设计：在模型设计中，Cendol采用了适应性词汇调整策略，优化了损失函数和网络结构，以更好地捕捉印尼语言的特征和文化背景。通过这些设计，Cendol在多项任务中表现出色。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

Cendol在多项任务中实现了20%的性能提升，展示了其在未见任务和印尼土著语言中的良好泛化能力。此外，Cendol模型在安全性评估中显示出预训练安全性可以有效转移到低资源语言，未使用RLHF和安全微调。

🎯 应用场景

Cendol的研究成果具有广泛的应用潜力，尤其在教育、文化保护和语言技术等领域。它能够帮助提升印尼土著语言的数字化和自动化处理能力，促进多语言交流和文化传承，具有重要的社会价值和实际意义。

📄 摘要（原文）

Large language models (LLMs) show remarkable human-like capability in various domains and languages. However, a notable quality gap arises in low-resource languages, e.g., Indonesian indigenous languages, rendering them ineffective and inefficient in such linguistic contexts. To bridge this quality gap, we introduce Cendol, a collection of Indonesian LLMs encompassing both decoder-only and encoder-decoder architectures across a range of model sizes. We highlight Cendol's effectiveness across a diverse array of tasks, attaining 20% improvement, and demonstrate its capability to generalize to unseen tasks and indigenous languages of Indonesia. Furthermore, Cendol models showcase improved human favorability despite their limitations in capturing indigenous knowledge and cultural values in Indonesia. In addition, we discuss the shortcomings of parameter-efficient tunings, such as LoRA, for language adaptation. Alternatively, we propose the usage of vocabulary adaptation to enhance efficiency. Lastly, we evaluate the safety of Cendol and showcase that safety in pre-training in one language such as English is transferable to low-resource languages, such as Indonesian, even without RLHF and safety fine-tuning.