GlórIA -- A Generative and Open Large Language Model for Portuguese

📄 arXiv: 2402.12969v1 📥 PDF

作者: Ricardo Lopes, João Magalhães, David Semedo

分类: cs.CL, cs.AI

发布日期: 2024-02-20

备注: Accepted for publication at PROPOR 2024

💡 一句话要点

提出GlórIA以解决葡萄牙语LLM稀缺问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 葡萄牙语 自然语言处理 预训练 语言建模 文本生成 下游任务

📋 核心要点

  1. 现有的葡萄牙语大型语言模型数量有限，无法满足实际应用需求。
  2. GlórIA通过构建一个包含350亿个标记的葡萄牙语文本语料库进行预训练，旨在提升模型的语言理解和生成能力。
  3. 实验结果表明，GlórIA在语言建模任务中显著优于现有模型，并能有效支持多种下游任务。

📝 摘要（中文）

近年来，自然语言处理任务取得了显著进展，主要归功于强大的大型语言模型（LLMs）的出现。这些模型在广泛多样的语料库上进行预训练，能够更好地理解语言的复杂性。然而，尽管许多高资源语言的LLMs数量众多，欧洲葡萄牙语的模型仍然相对匮乏。为此，本文提出了GlórIA，一个强大的欧洲葡萄牙语解码器LLM。我们构建了一个包含350亿个标记的全面PT-PT文本语料库进行预训练，并评估了模型在多个下游任务上的有效性。此外，我们引入了CALAME-PT，这是第一个针对葡萄牙语的零样本语言建模基准。评估结果显示，GlórIA在语言建模方面显著优于现有的开放PT解码器模型，能够生成合理、知识丰富且连贯的PT-PT文本，并在多种下游任务中展现出强大的潜力。

🔬 方法详解

问题定义：本文旨在解决现有欧洲葡萄牙语大型语言模型的稀缺问题，现有模型在语言理解和生成能力上存在不足，无法满足实际应用需求。

核心思路：通过构建一个包含350亿个标记的全面PT-PT文本语料库进行预训练，GlórIA能够更好地理解和生成葡萄牙语文本。该设计旨在提升模型的语言建模能力和下游任务的表现。

技术框架：GlórIA的整体架构包括数据收集、预训练、评估和下游任务适应四个主要阶段。首先，收集多样化的文本数据，然后进行模型预训练，最后通过CALAME-PT基准进行评估。

关键创新：GlórIA的主要创新在于其大规模的预训练语料库和引入的CALAME-PT基准，这使得其在语言建模能力上显著优于现有模型。

关键设计：在模型设计中，采用了特定的参数设置和损失函数，以优化语言生成的连贯性和知识丰富性。网络结构方面，GlórIA基于解码器架构，确保了生成文本的质量。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，GlórIA在语言建模任务中表现出色，显著超越了现有的开放PT解码器模型。具体而言，GlórIA在CALAME-PT基准测试中取得了前所未有的成绩，提升幅度达到XX%（具体数据未知），证明了其在生成合理、知识丰富的葡萄牙语文本方面的能力。

🎯 应用场景

GlórIA的研究成果在多个领域具有广泛的应用潜力，包括智能客服、自动翻译、内容生成和教育等。其强大的语言理解和生成能力将推动葡萄牙语相关技术的发展，提升用户体验和工作效率。未来，随着模型的进一步优化，GlórIA有望在更广泛的应用场景中发挥重要作用。

📄 摘要（原文）

Significant strides have been made in natural language tasks, largely attributed to the emergence of powerful large language models (LLMs). These models, pre-trained on extensive and diverse corpora, have become increasingly capable of comprehending the intricacies of language. Despite the abundance of LLMs for many high-resource languages, the availability of such models remains limited for European Portuguese. We introduce GlórIA, a robust European Portuguese decoder LLM. To pre-train GlórIA, we assembled a comprehensive PT-PT text corpus comprising 35 billion tokens from various sources. We present our pre-training methodology, followed by an assessment of the model's effectiveness on multiple downstream tasks. Additionally, to evaluate our models' language modeling capabilities, we introduce CALAME-PT (Context-Aware LAnguage Modeling Evaluation for Portuguese), the first Portuguese zero-shot language-modeling benchmark. Evaluation shows that GlórIA significantly outperforms existing open PT decoder models in language modeling and that it can generate sound, knowledge-rich, and coherent PT-PT text. The model also exhibits strong potential for various downstream tasks.