Latxa: An Open Language Model and Evaluation Suite for Basque
作者: Julen Etxaniz, Oscar Sainz, Naiara Perez, Itziar Aldabe, German Rigau, Eneko Agirre, Aitor Ormazabal, Mikel Artetxe, Aitor Soroa
分类: cs.CL, cs.AI, cs.LG
发布日期: 2024-03-29 (更新: 2024-09-20)
备注: ACL 2024
期刊: Proceedings of the 62nd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pages 14952--14972. 2024
💡 一句话要点
提出Latxa以解决巴斯克语大语言模型的稀缺问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 巴斯克语 大语言模型 预训练 评估数据集 自然语言处理 低资源语言 语言理解 开放许可
📋 核心要点
- 现有的巴斯克语大语言模型稀缺，缺乏高质量的基准测试，限制了相关研究的发展。
- Latxa模型系列通过在新的巴斯克语语料库上继续预训练，提供了从7亿到70亿参数的多种选择，填补了这一空白。
- 实验结果显示，Latxa在多个评估任务中超越了所有先前的开放模型，并在语言能力上与GPT-4 Turbo相竞争。
📝 摘要（中文）
我们介绍了Latxa，一个针对巴斯克语的大型语言模型系列，参数范围从70亿到700亿。Latxa基于Llama 2，并在一个包含430万文档和42亿标记的新巴斯克语语料库上继续预训练。为了解决巴斯克语高质量基准的稀缺问题，我们还推出了4个多项选择评估数据集：EusProficiency、EusReading、EusTrivia和EusExams。在广泛的评估中，Latxa在所有比较的开放模型中表现优异，并在语言能力和理解方面与GPT-4 Turbo具有竞争力，尽管在阅读理解和知识密集型任务上稍显不足。Latxa模型及其新的预训练语料和评估数据集均在开放许可下公开可用，促进了低资源语言的大语言模型研究的可重复性。
🔬 方法详解
问题定义：本论文旨在解决巴斯克语大语言模型的稀缺性及缺乏高质量基准测试的问题。现有方法未能有效支持低资源语言的研究与应用。
核心思路：Latxa模型系列基于Llama 2进行预训练，利用新的巴斯克语语料库，旨在提升巴斯克语的语言理解和生成能力。通过引入多项选择评估数据集，增强模型的评估标准。
技术框架：Latxa的整体架构包括数据预处理、模型预训练和评估三个主要阶段。预训练阶段使用了430万文档和42亿标记的语料库，评估阶段则通过4个多项选择数据集进行。
关键创新：Latxa的主要创新在于其针对巴斯克语的专门预训练和评估框架，显著提升了模型在低资源语言上的表现，与现有模型相比具有更高的准确性和实用性。
关键设计：在模型设计上，Latxa采用了多种参数设置和损失函数，确保了在语言理解和生成任务中的高效性。具体的网络结构和训练细节在论文中有详细描述。
🖼️ 关键图片
📊 实验亮点
Latxa在评估中表现出色，超越了所有先前的开放模型，尤其在语言能力和理解方面与GPT-4 Turbo相竞争。具体而言，Latxa在语言能力评估中表现优异，尽管在阅读理解和知识密集型任务上有所不足，显示出其在特定领域的潜力和应用价值。
🎯 应用场景
Latxa的研究成果可广泛应用于巴斯克语的自然语言处理任务，包括文本生成、翻译、问答系统等。其开放的模型和数据集为低资源语言的研究提供了重要的基础，推动了相关领域的发展。未来，Latxa有潜力在多语言环境中促进语言技术的公平性和可及性。
📄 摘要（原文）
We introduce Latxa, a family of large language models for Basque ranging from 7 to 70 billion parameters. Latxa is based on Llama 2, which we continue pretraining on a new Basque corpus comprising 4.3M documents and 4.2B tokens. Addressing the scarcity of high-quality benchmarks for Basque, we further introduce 4 multiple choice evaluation datasets: EusProficiency, comprising 5,169 questions from official language proficiency exams; EusReading, comprising 352 reading comprehension questions; EusTrivia, comprising 1,715 trivia questions from 5 knowledge areas; and EusExams, comprising 16,774 questions from public examinations. In our extensive evaluation, Latxa outperforms all previous open models we compare to by a large margin. In addition, it is competitive with GPT-4 Turbo in language proficiency and understanding, despite lagging behind in reading comprehension and knowledge-intensive tasks. Both the Latxa family of models, as well as our new pretraining corpora and evaluation datasets, are publicly available under open licenses. Our suite enables reproducible research on methods to build LLMs for low-resource languages.