FinGPT: Large Generative Models for a Small Language

📄 arXiv: 2311.05640v1 📥 PDF

作者: Risto Luukkonen, Ville Komulainen, Jouni Luoma, Anni Eskelinen, Jenna Kanerva, Hanna-Mari Kupari, Filip Ginter, Veronika Laippala, Niklas Muennighoff, Aleksandra Piktus, Thomas Wang, Nouamane Tazi, Teven Le Scao, Thomas Wolf, Osma Suominen, Samuli Sairanen, Mikko Merioksa, Jyrki Heinonen, Aija Vahtola, Samuel Antao, Sampo Pyysalo

分类: cs.CL

发布日期: 2023-11-03

备注: 17 pages (10 main), 7 figures, 5 tables

💡 一句话要点

提出FinGPT以解决芬兰小语种LLM训练不足问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 芬兰语处理 大型语言模型 数据集构建 模型预训练 自然语言处理

📋 核心要点

  1. 现有大型语言模型对小语种的支持不足，尤其是芬兰语等使用者极少的语言，导致相关研究和应用受限。
  2. 本研究通过构建芬兰语数据集，训练FinGPT和BLUUMI模型，旨在提升芬兰语的自然语言处理能力。
  3. 实验结果表明，FinGPT和BLUUMI在芬兰语任务上表现优异，FIN-bench为模型评估提供了新的标准。

📝 摘要（中文）

大型语言模型（LLMs）在自然语言处理及其他领域表现出色，但大多数开放模型对小语种的覆盖极为有限。本研究探讨了为芬兰语（全球使用者不足0.1%）创建LLM的挑战。我们汇编了一个包含网络爬虫、新闻、社交媒体和电子书的芬兰语数据集。我们采用两种方法进行模型预训练：一是从零开始训练七个单语模型FinGPT，参数规模从186M到13B；二是基于多语言BLOOM模型，继续在芬兰语数据上进行预训练，得到1760亿参数的BLUUMI模型。我们还引入了FIN-bench作为芬兰语任务的评估工具，并评估了模型的毒性和偏见等其他特性。我们的模型和工具已在https://turkunlp.org/gpt3-finnish上公开。

🔬 方法详解

问题定义：本研究旨在解决大型语言模型在小语种芬兰语上的训练不足问题。现有方法多集中于数据丰富的语言，导致小语种的LLM研究滞后。

核心思路：通过汇编多种来源的芬兰语数据集，分别训练单语模型FinGPT和在多语言模型基础上进行芬兰语预训练的BLUUMI，以提升芬兰语的处理能力。

技术框架：整体流程包括数据集的构建、模型的预训练和评估。数据集涵盖网络爬虫、新闻、社交媒体和电子书，模型训练分为单语和多语两种策略。

关键创新：本研究的主要创新在于针对芬兰语的专门数据集和模型架构设计，尤其是BLUUMI模型的构建，显著提升了芬兰语的处理效果。

关键设计：在模型训练中，FinGPT的参数范围从186M到13B，BLUUMI则为1760亿参数，采用了适合芬兰语特性的损失函数和网络结构设计。模型评估使用了FIN-bench，专注于芬兰语任务的表现。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，FinGPT和BLUUMI在芬兰语任务上取得了显著的性能提升，尤其是在FIN-bench评估中表现优异，展示了对芬兰语处理的有效性和潜力。

🎯 应用场景

该研究的成果可广泛应用于芬兰语的自然语言处理任务，如机器翻译、文本生成和情感分析等。通过提升小语种的处理能力，能够促进相关领域的研究和应用，推动多语言环境下的技术发展。

📄 摘要（原文）

Large language models (LLMs) excel in many tasks in NLP and beyond, but most open models have very limited coverage of smaller languages and LLM work tends to focus on languages where nearly unlimited data is available for pretraining. In this work, we study the challenges of creating LLMs for Finnish, a language spoken by less than 0.1% of the world population. We compile an extensive dataset of Finnish combining web crawls, news, social media and eBooks. We pursue two approaches to pretrain models: 1) we train seven monolingual models from scratch (186M to 13B parameters) dubbed FinGPT, 2) we continue the pretraining of the multilingual BLOOM model on a mix of its original training data and Finnish, resulting in a 176 billion parameter model we call BLUUMI. For model evaluation, we introduce FIN-bench, a version of BIG-bench with Finnish tasks. We also assess other model qualities such as toxicity and bias. Our models and tools are openly available at https://turkunlp.org/gpt3-finnish.