CroissantLLM: A Truly Bilingual French-English Language Model
作者: Manuel Faysse, Patrick Fernandes, Nuno M. Guerreiro, António Loison, Duarte M. Alves, Caio Corro, Nicolas Boizard, João Alves, Ricardo Rei, Pedro H. Martins, Antoni Bigata Casademunt, François Yvon, André F. T. Martins, Gautier Viaud, Céline Hudelot, Pierre Colombo
分类: cs.CL, cs.LG
发布日期: 2024-02-01 (更新: 2025-04-09)
💡 一句话要点
提出CroissantLLM以解决双语模型性能不足问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 双语模型 自然语言处理 机器翻译 模型评估 开源技术
📋 核心要点
- 现有的双语语言模型往往在性能和多样性上存在不足，尤其是在法语处理方面。
- CroissantLLM通过1:1的英语与法语预训练数据比例和定制的分词器，提出了一种全新的双语模型训练方法。
- 模型在FrenchBench基准测试中表现优异，验证了81%的透明度标准，显著提升了法语处理能力。
📝 摘要（中文）
我们介绍了CroissantLLM，这是一个在3万亿英语和法语标记上预训练的1.3B语言模型，旨在为研究和工业界提供一个高性能、完全开源的双语模型，能够在消费级本地硬件上快速运行。我们开创性地采用了1:1的英语与法语预训练数据比例、定制的分词器以及双语微调数据集。我们发布了训练数据集，特别是包含经过人工策划的高质量法语数据源的分割。为了评估模型在英语之外的表现，我们设计了一个新的基准FrenchBench，涵盖了多种分类和生成任务，涉及模型在法语中的多维性能。此外，为了促进大型语言模型的进一步研究，我们发布了代码库、多个模型大小的检查点以及微调的聊天模型和强大的翻译模型。通过FMTI框架评估我们的模型，并验证了81%的透明度标准，远超大多数开放项目的得分。这项工作丰富了自然语言处理领域，突破了以往以英语为中心的研究，增强了我们对语言模型多语言性的理解。
🔬 方法详解
问题定义：当前双语语言模型在处理法语时的性能不足，尤其缺乏高质量的双语训练数据和评估基准。
核心思路：CroissantLLM通过1:1的英语与法语预训练数据比例，结合定制的分词器和双语微调数据集，旨在提升双语模型的整体性能和应用广度。
技术框架：模型的整体架构包括数据预处理、预训练、微调和评估四个主要阶段。数据预处理阶段使用定制分词器，预训练阶段在3T标记上进行，微调阶段则使用双语数据集，最后通过FrenchBench进行评估。
关键创新：CroissantLLM的主要创新在于其1:1的双语预训练数据比例和高质量的法语数据集，这与以往以英语为主的模型形成鲜明对比，增强了模型的双语能力。
关键设计：模型采用了特定的损失函数以平衡双语训练，并在网络结构上进行了优化，以适应双语数据的特性，确保模型在法语和英语上均能获得良好表现。
🖼️ 关键图片
📊 实验亮点
在FrenchBench基准测试中，CroissantLLM展现出优异的性能，验证了81%的透明度标准，显著超越了大多数现有的双语模型。这一成果不仅提升了法语处理能力，也为未来的多语言模型研究奠定了基础。
🎯 应用场景
CroissantLLM在自然语言处理的多个领域具有广泛的应用潜力，包括机器翻译、双语对话系统和多语言文本生成等。其开源特性和高性能使得研究人员和开发者能够在实际应用中更好地利用双语能力，推动多语言技术的发展。
📄 摘要（原文）
We introduce CroissantLLM, a 1.3B language model pretrained on a set of 3T English and French tokens, to bring to the research and industrial community a high-performance, fully open-sourced bilingual model that runs swiftly on consumer-grade local hardware. To that end, we pioneer the approach of training an intrinsically bilingual model with a 1:1 English-to-French pretraining data ratio, a custom tokenizer, and bilingual finetuning datasets. We release the training dataset, notably containing a French split with manually curated, high-quality, and varied data sources. To assess performance outside of English, we craft a novel benchmark, FrenchBench, consisting of an array of classification and generation tasks, covering various orthogonal aspects of model performance in the French Language. Additionally, rooted in transparency and to foster further Large Language Model research, we release codebases, and dozens of checkpoints across various model sizes, training data distributions, and training steps, as well as fine-tuned Chat models, and strong translation models. We evaluate our model through the FMTI framework, and validate 81 % of the transparency criteria, far beyond the scores of even most open initiatives. This work enriches the NLP landscape, breaking away from previous English-centric work in order to strengthen our understanding of multilinguality in language models.