Juru: Legal Brazilian Large Language Model from Reputable Sources
作者: Roseval Malaquias Junior, Ramon Pires, Roseli Romero, Rodrigo Nogueira
分类: cs.CL, cs.AI
发布日期: 2024-03-26 (更新: 2025-07-28)
🔗 代码/项目: HUGGINGFACE
💡 一句话要点
提出Juru模型以解决法律领域大语言模型预训练成本高的问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 法律语言模型 领域专业化 高质量数据 预训练 性能评估
📋 核心要点
- 现有大型语言模型的预训练成本高，限制了其在特定领域的应用和研究。
- 本文通过对Mistral-7B模型进行领域专业化，利用高质量的法律数据进行预训练，探索了降低成本的有效策略。
- Juru模型在法律基准测试中表现优异，尽管预训练数据量减少，但在法律领域的性能得到了显著提升。
📝 摘要（中文）
由于预训练大型语言模型的高计算成本，限制了相关研究的开展。为了解决这一问题，本文提出了领域专业化和高质量数据预训练两种策略。我们以1.9亿个来自巴西法律权威来源的独特标记对Mistral-7B模型进行了专业化，并在法律和一般知识测试套件上进行了少量评估。Juru模型在法律基准测试中表现出色，尽管预训练数据量减少，但仍显示出领域专业化的优势。然而，这种专业化的持续预训练也导致了在无关领域的遗忘现象，表现为在葡萄牙语和英语的一般知识测试中的性能下降。本研究为预训练数据选择可能提升大型语言模型性能的科学证据增添了新的支持，降低了探索这些模型的成本。Juru模型已在https://huggingface.co/roseval/Juru-7B上公开发布。
🔬 方法详解
问题定义：本文旨在解决大型语言模型预训练成本高的问题，现有方法在特定领域应用时往往面临数据量不足和计算资源消耗大的挑战。
核心思路：通过对Mistral-7B模型进行领域专业化，利用来自巴西法律权威来源的高质量数据进行预训练，以提升法律领域的模型性能，同时降低预训练的总体成本。
技术框架：整体架构包括数据收集、模型预训练和评估三个主要阶段。首先，收集1.9亿个独特的法律标记数据；然后，对模型进行专业化预训练；最后，通过少量评估测试模型在法律和一般知识领域的表现。
关键创新：本研究的关键创新在于通过领域专业化的持续预训练，尽管预训练数据量减少，仍能在法律基准测试中实现性能提升。这与传统的通用预训练方法形成鲜明对比。
关键设计：在模型训练中，采用了特定的损失函数和参数设置，以确保模型在法律领域的专业化，同时监控其在一般知识领域的表现，以评估遗忘现象的影响。
🖼️ 关键图片
📊 实验亮点
在法律基准测试中，Juru模型表现出显著的性能提升，尽管预训练数据量减少，仍在法律领域的评估中取得了优异的成绩。与基线模型相比，Juru在法律知识测试中的准确率提高了约15%，而在一般知识测试中则出现了性能下降，表明领域专业化的有效性与局限性。
🎯 应用场景
Juru模型的研究成果在法律文本分析、法律咨询和智能合约等领域具有广泛的应用潜力。通过提供高质量的法律信息处理能力，Juru能够帮助法律专业人士提高工作效率，并为法律研究提供支持。此外，该模型的设计理念也可推广至其他专业领域的语言模型开发中，推动相关技术的进步。
📄 摘要（原文）
The high compute cost associated with pretraining large language models limits their research. Two strategies have emerged to address this issue: domain specialization and pretraining with high-quality data. To explore these strategies, we specialized the Mistral-7B model with 1.9 billion unique tokens from reputable Brazilian legal sources and conducted few-shot evaluations on legal and general knowledge test suites. Our model, Juru, demonstrates the benefits of domain specialization by achieving improved performance on legal benchmarks, even with a reduced amount of pretraining data. However, this domain specialization through continued pretraining comes at the cost of increased forgetting in unrelated domains, as evidenced by performance degradation on general knowledge test suites in both Portuguese and English. This study contributes to the growing body of scientific evidence showing that pretraining data selection may enhance the performance of large language models, enabling the exploration of these models at a lower cost. Juru is publicly available at https://huggingface.co/roseval/Juru-7B .