Aya Model: An Instruction Finetuned Open-Access Multilingual Language Model
作者: Ahmet Üstün, Viraat Aryabumi, Zheng-Xin Yong, Wei-Yin Ko, Daniel D'souza, Gbemileke Onilude, Neel Bhandari, Shivalika Singh, Hui-Lee Ooi, Amr Kayid, Freddie Vargus, Phil Blunsom, Shayne Longpre, Niklas Muennighoff, Marzieh Fadaee, Julia Kreutzer, Sara Hooker
分类: cs.CL
发布日期: 2024-02-12
💡 一句话要点
提出Aya模型以解决多语言处理中的资源不均问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多语言模型 指令微调 低资源语言 模型评估 开源数据集
📋 核心要点
- 现有的大型语言模型主要集中在数据丰富的语言上，导致低资源语言的研究和应用受到限制。
- Aya模型通过指令微调，支持101种语言的生成，特别关注低资源语言的处理能力。
- 实验结果表明，Aya在大多数任务上优于mT0和BLOOMZ，且覆盖的语言数量是其两倍，展示了显著的性能提升。
📝 摘要（中文）
近年来，大型语言模型（LLMs）的突破主要集中在数据丰富的语言上。为了解决这一问题，我们提出了Aya，一个支持101种语言的多语言生成模型，其中超过50%的语言被视为低资源语言。Aya在大多数任务上超越了mT0和BLOOMZ，同时覆盖的语言数量是其两倍。我们引入了广泛的新评估套件，扩展了99种语言的多语言评估状态，包括判别性和生成性任务、人类评估以及涵盖持出任务和分布内性能的模拟胜率。此外，我们还对最佳微调组合、数据修剪以及模型的毒性、偏见和安全性进行了详细研究。我们将指令数据集和模型开源，网址为https://hf.co/CohereForAI/aya-101。
🔬 方法详解
问题定义：本论文旨在解决大型语言模型在多语言处理中的资源不均问题，尤其是低资源语言的支持不足。现有方法往往忽视了这些语言，导致其在实际应用中的局限性。
核心思路：Aya模型通过指令微调技术，旨在提升对多种语言的理解和生成能力，特别是那些数据稀缺的语言。该模型的设计考虑了多语言环境下的任务多样性和复杂性。
技术框架：Aya的整体架构包括数据收集、模型训练和评估三个主要阶段。首先，收集多语言的指令数据集；其次，利用这些数据对模型进行微调；最后，通过新评估套件对模型性能进行全面评估。
关键创新：Aya的主要创新在于其对低资源语言的支持和广泛的评估方法。与现有模型相比，Aya不仅覆盖更多语言，还引入了多样化的评估任务，提升了模型的实用性和可靠性。
关键设计：在模型训练中，Aya采用了优化的微调组合和数据修剪策略，以提高模型的学习效率。同时，针对模型的毒性、偏见和安全性进行了深入分析，确保其在实际应用中的安全性。
🖼️ 关键图片
📊 实验亮点
在实验中，Aya模型在大多数任务上超越了mT0和BLOOMZ，显示出显著的性能提升。具体而言，Aya覆盖的语言数量是这两者的两倍，且在99种语言的评估中表现出色，展示了其在多语言处理中的优势。
🎯 应用场景
Aya模型的潜在应用场景包括跨国企业的多语言客户服务、教育领域的多语言学习工具以及国际组织的多语言沟通平台。其开源特性将促进研究者和开发者在低资源语言处理方面的进一步探索，推动相关技术的普及和应用。
📄 摘要（原文）
Recent breakthroughs in large language models (LLMs) have centered around a handful of data-rich languages. What does it take to broaden access to breakthroughs beyond first-class citizen languages? Our work introduces Aya, a massively multilingual generative language model that follows instructions in 101 languages of which over 50% are considered as lower-resourced. Aya outperforms mT0 and BLOOMZ on the majority of tasks while covering double the number of languages. We introduce extensive new evaluation suites that broaden the state-of-art for multilingual eval across 99 languages -- including discriminative and generative tasks, human evaluation, and simulated win rates that cover both held-out tasks and in-distribution performance. Furthermore, we conduct detailed investigations on the optimal finetuning mixture composition, data pruning, as well as the toxicity, bias, and safety of our models. We open-source our instruction datasets and our model at https://hf.co/CohereForAI/aya-101