Paramanu: Compact and Competitive Monolingual Language Models for Low-Resource Morphologically Rich Indian Languages

📄 arXiv: 2401.18034v3 📥 PDF

作者: Mitodru Niyogi, Eric Gaussier, Arnab Bhattacharya

分类: cs.CL, cs.AI

发布日期: 2024-01-31 (更新: 2026-01-22)

🔗 代码/项目: HUGGINGFACE

💡 一句话要点

提出PARAMANU以解决低资源印度语言模型构建问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 语言模型 低资源语言 自回归模型 形态丰富 多语言处理 机器学习 自然语言处理

📋 核心要点

  1. 现有多语言模型在低资源语言上表现不佳，且训练成本高，难以满足研究需求。
  2. 论文提出PARAMANU系列模型，专注于五种印度语言，采用经济高效的训练方法和低生育率的分词器。
  3. 实验结果显示，PARAMANU在性能和效率上取得良好平衡，超越了大多数大型多语言模型。

📝 摘要（中文）

多语言大型语言模型（LLMs）在预训练时成本高昂，且常常面临语言和数据集的不平衡、以英语为中心的偏见、形态丰富的低资源语言的分词过度细分等问题。本文介绍了PARAMANU，这是首个针对五种最常用印度语言（孟加拉语、印地语、马拉地语、泰米尔语和泰卢固语）从零开始训练的印度专属自回归语言模型系列。所有模型均以经济实惠为设计目标，在单个GPU上以不超过1000美元的预算进行训练，使得资源不足的研究人员能够构建具有竞争力的语言模型。尽管参数规模较小（108M-367M），PARAMANU在所有五种语言上均表现出色，超越了大多数大型多语言模型。

🔬 方法详解

问题定义：本文旨在解决低资源形态丰富的印度语言模型构建问题，现有多语言模型在这些语言上表现不佳，且训练成本高昂。

核心思路：论文提出PARAMANU系列模型，专注于五种印度语言，采用从头开始训练的策略，利用开源语言特定数据，设计低成本的训练方案，以便资源不足的研究人员能够使用。

技术框架：模型训练采用单GPU架构，预算控制在1000美元以内，使用形态对齐的低生育率分词器和基于插值的RoPE缩放方法，以高效训练长序列。

关键创新：PARAMANU的主要创新在于其专注于印度语言的自回归模型设计，解决了多语言模型的偏见和分词问题，且在小参数规模下实现了强大的性能。

关键设计：模型参数设置在108M到367M之间，采用低生育率的分词器和插值方法来优化token位置索引，确保在训练长序列时的效率。实验中还创建了翻译数据集，以增强模型的指令调优能力。

📊 实验亮点

实验结果表明，PARAMANU在五种语言上均超越了大多数大型多语言模型，尽管参数规模较小，但在性能和效率上实现了良好的平衡，展示了强大的竞争力。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、机器翻译和对话系统等，尤其适用于资源有限的研究环境。通过提供高效的语言模型，PARAMANU能够促进低资源语言的研究和应用，推动多语言技术的发展。

📄 摘要（原文）

Multilingual large language models (LLMs) are expensive to pretrain and often suffer from imbalances across languages and datasets, English-centric bias, tokenizer oversegmentation for morphologically rich low-resource languages, and the curse of multilinguality. We introduce PARAMANU, the first family of Indian-only autoregressive language models trained from scratch on open-source language-specific data for the five most spoken Indian languages: Bengali, Hindi, Marathi, Tamil, and Telugu. All models are designed for affordability and are trained on a single GPU with a budget under $1,000, allowing under-resourced researchers to build competitive language models. To address low-resource challenges, we develop morphology-aligned, low-fertility tokenizers, propose an interpolation-based method for token position indices in RoPE based scaling to train longer sequences efficiently. We also create instruction-tuning datasets in Bangla that are translated to the other four languages. Despite their small size (108M-367M parameters), Paramanu achieves a strong performance-efficiency tradeoff and outperforms most larger multilingual models across all five languages. Our collection is available at https://huggingface.co/collections/mitodru/paramanu.