Ayn: A Tiny yet Competitive Indian Legal Language Model Pretrained from Scratch

📄 arXiv: 2403.13681v3 📥 PDF

作者: Mitodru Niyogi, Eric Gaussier, Arnab Bhattacharya

分类: cs.CL, cs.AI, cs.LG

发布日期: 2024-03-20 (更新: 2026-03-16)

备注: LREC 2026

💡 一句话要点

提出Ayn模型以解决印度法律领域的语言处理问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 小型语言模型 法律文本处理 自然语言处理 模型预训练 领域特定模型

📋 核心要点

  1. 现有的解码器大型语言模型在训练和使用上成本高昂，尤其是在特定领域应用时。
  2. 本文提出了一种88M参数的法律领域小型语言模型Ayn，通过从零开始预训练，专注于印度法律领域的任务。
  3. 实验结果显示，Ayn在法律案例判断预测任务中超越了最大80倍的LLMs，并在摘要任务中与最大30倍的LLMs竞争。

📝 摘要（中文）

当前，解码器大型语言模型（LLMs）是许多自然语言处理（NLP）应用的首选。通过指令微调和提示方法，这些模型在解决一般和特定领域任务方面表现出色。然而，训练这些模型的成本高昂，使用时也存在一定的费用。因此，本文探讨了是否可以用参数少于1亿的领域特定小型语言模型（TLMs）替代LLMs。研究表明，本文提出的88M参数的法律TLM模型Ayn在法律案例判断预测任务中，性能超过了最大可达80倍的LLMs，并在摘要任务中与最大30倍的LLMs相当，同时在一般任务中也保持竞争力。

🔬 方法详解

问题定义：本文旨在解决在印度法律领域中，现有大型语言模型在训练和使用成本高的问题，同时探索小型语言模型的有效性。

核心思路：提出了一种从零开始预训练的88M参数小型语言模型Ayn，专注于法律领域的特定任务，旨在验证其在特定领域任务中的竞争力。

技术框架：模型的整体架构包括数据预处理、领域特定的分词器、模型训练和评估阶段，确保模型能够有效理解和处理法律文本。

关键创新：Ayn模型的主要创新在于其小型化设计与领域特定的预训练策略，使其在特定任务上超越了参数量更大的LLMs，展现出更高的效率和效果。

关键设计：模型使用了特定的损失函数和优化算法，参数设置经过精细调整，以适应法律文本的特点，确保模型在法律任务中的表现优异。

🖼️ 关键图片

img_0

📊 实验亮点

实验结果显示，Ayn模型在法律案例判断预测任务中超越了最大80倍的LLMs，在摘要任务中与最大30倍的LLMs相当，证明了其在特定领域任务中的有效性和竞争力。

🎯 应用场景

该研究的潜在应用领域包括法律文书自动生成、法律案例分析和法律文本摘要等。Ayn模型的高效性和竞争力使其在法律领域的实际应用中具有重要价值，能够降低法律服务的成本，提高工作效率。未来，该模型还可能扩展到其他领域的特定语言处理任务中。

📄 摘要（原文）

Decoder-only Large Language Models (LLMs) are currently the model of choice for many Natural Language Processing (NLP) applications. Through instruction fine-tuning and prompting approaches, such LLMs have been efficiently used to solve both general and domain-specific tasks. However, they are costly to train and, to a certain extent, costly to use as well, and one can wonder whether LLMs can be replaced by domain-specific Tiny Language Models (TLMs), which typically contain less than 100M parameters. We address this question in this study by comparing the performance of an 88M TLM pretrained from scratch for 185 A100 hours on a specific domain with a domain-specific tokenizer (here, the Indian legal domain) with LLMs of various sizes between 1B and 8B for solving domain-specific tasks. We show in particular that our legal TLM, Ayn, can indeed outperform LLMs up to 80 times larger on the legal case judgment prediction task, rival LLMs up to 30 times larger on the summarization task, and still be competitive with these larger LLMs on general tasks.