Sabiá-2: A New Generation of Portuguese Large Language Models
作者: Thales Sales Almeida, Hugo Abonizio, Rodrigo Nogueira, Ramon Pires
分类: cs.CL, cs.AI
发布日期: 2024-03-14 (更新: 2024-03-26)
💡 一句话要点
提出Sabiá-2以提升葡萄牙语大语言模型性能
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大语言模型 葡萄牙语 专业化训练 性能评估 成本效益
📋 核心要点
- 现有的语言模型在特定领域的表现不尽如人意，尤其是在葡萄牙语环境下的应用。
- Sabiá-2通过专注于葡萄牙文本的训练，结合专业化策略，提升了模型在多种考试中的表现。
- 实验结果表明，Sabiá-2 Medium在多个考试中超越了当前最先进的模型，且成本效益显著提升。
📝 摘要（中文）
我们介绍了Sabiá-2，这是一系列基于葡萄牙文本训练的大语言模型。模型在多种考试中进行了评估，包括巴西大学入学考试、职业认证考试以及会计、经济学、工程、法律和医学等学科的研究生考试。结果显示，Sabiá-2 Medium在64个考试中有23个超越了GPT-4的表现，并在58个考试中优于GPT-3.5。值得注意的是，专业化对模型性能有显著影响，而无需增加模型规模，使得Sabiá-2 Medium的每个token价格比GPT-4便宜10倍。最后，我们发现数学和编程是需要改进的关键能力。
🔬 方法详解
问题定义：本论文旨在解决现有葡萄牙语大语言模型在特定领域考试中的表现不足问题，尤其是与GPT系列模型的对比中存在的挑战。
核心思路：通过专注于葡萄牙文本的训练和专业化策略，Sabiá-2能够在不增加模型规模的情况下显著提升性能。
技术框架：Sabiá-2的整体架构包括数据收集、模型训练、性能评估等多个阶段，特别强调了针对特定学科的训练数据选择。
关键创新：Sabiá-2的主要创新在于其专业化训练策略，使得模型在特定领域的表现显著提升，而无需增加模型的参数规模。
关键设计：在模型设计中，采用了优化的损失函数和网络结构，确保在训练过程中能够有效捕捉到葡萄牙语的语言特征。
🖼️ 关键图片
📊 实验亮点
实验结果显示，Sabiá-2 Medium在64个考试中有23个超越了GPT-4的表现，并在58个考试中优于GPT-3.5，展示了其在特定领域的强大能力和显著的性价比优势。
🎯 应用场景
Sabiá-2的研究成果在教育、职业培训和语言处理等多个领域具有广泛的应用潜力。其高效的性能和低成本使其成为教育机构和企业在语言理解和生成任务中的理想选择，能够有效支持葡萄牙语的学习和应用。
📄 摘要（原文）
We introduce Sabiá-2, a family of large language models trained on Portuguese texts. The models are evaluated on a diverse range of exams, including entry-level tests for Brazilian universities, professional certification exams, and graduate-level exams for various disciplines such as accounting, economics, engineering, law and medicine. Our results reveal that our best model so far, Sabiá-2 Medium, matches or surpasses GPT-4's performance in 23 out of 64 exams and outperforms GPT-3.5 in 58 out of 64 exams. Notably, specialization has a significant impact on a model's performance without the need to increase its size, allowing us to offer Sabiá-2 Medium at a price per token that is 10 times cheaper than GPT-4. Finally, we identified that math and coding are key abilities that need improvement.