PanGu-$π$ Pro:Rethinking Optimization and Architecture for Tiny Language Models

📄 arXiv: 2402.02791v4 📥 PDF

作者: Yehui Tang, Kai Han, Fangcheng Liu, Yunsheng Ni, Yuchuan Tian, Zheyuan Bai, Yi-Qi Hu, Sichao Liu, Shangling Jui, Yunhe Wang

分类: cs.CL, cs.AI, cs.LG

发布日期: 2024-02-05 (更新: 2025-04-03)

🔗 代码/项目: GITHUB

💡 一句话要点

提出PanGu-$π$ Pro以优化小型语言模型的架构与训练策略

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 小型语言模型 优化策略 神经架构 参数初始化 多轮训练

📋 核心要点

  1. 现有大型语言模型在移动设备上的应用受限于计算和内存成本，亟需高效的小型语言模型。
  2. 本研究通过优化神经架构、参数初始化和优化策略，提出了一系列有效的设计公式，提升小型语言模型性能。
  3. 实验结果显示，PanGu-$π$-1B Pro在基准评估集上平均提升8.87，且PanGu-$π$-1.5B Pro超越了多款更大模型，验证了其优越性。

📝 摘要（中文）

大型语言模型（LLMs）的强大能力已通过大量数据和计算资源得以证明。然而，语言模型在移动设备上的应用面临计算和内存成本的巨大挑战，因此迫切需要高性能的小型语言模型。由于训练过程高度复杂，优化语言模型的许多细节鲜有深入研究。本研究基于一个具有10亿参数的小型语言模型，设计了一系列实证研究以分析各个组件的影响，主要从神经架构、参数初始化和优化策略三个角度进行讨论。通过实验证明，多个设计公式对小型语言模型特别有效，包括分词器压缩、架构调整、参数继承和多轮训练。最终训练的PanGu-$π$-1B Pro和PanGu-$π$-1.5B Pro在1.6T多语言语料上表现出显著的优化效果，PanGu-$π$-1B Pro在基准评估集上平均提升了8.87，PanGu-$π$-1.5B Pro超越了多款更大模型，验证了其优越性能。

🔬 方法详解

问题定义：本论文旨在解决小型语言模型在移动设备应用中的计算和内存成本问题。现有方法在训练复杂性和性能优化方面存在不足，导致小型模型难以达到预期效果。

核心思路：论文提出通过优化神经架构、参数初始化和优化策略来提升小型语言模型的性能，设计了一系列实证研究以分析各组件的影响。

技术框架：整体架构包括三个主要模块：1) 神经架构设计，2) 参数初始化策略，3) 优化策略。每个模块通过实证研究验证其有效性，最终形成完整的训练流程。

关键创新：最重要的技术创新在于提出了针对小型语言模型的特定设计公式，如分词器压缩和多轮训练，这些创新与现有方法相比，显著提高了模型的训练效率和性能。

关键设计：关键设计包括优化的分词器压缩方法、灵活的架构调整策略、参数继承机制以及多轮训练的实施，这些设计细节共同作用，提升了模型的整体表现。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，PanGu-$π$-1B Pro在基准评估集上平均提升了8.87，显示出显著的性能改进。此外，PanGu-$π$-1.5B Pro在多个基准测试中超越了多款更大模型，验证了其在小型语言模型领域的优越性。

🎯 应用场景

该研究的潜在应用领域包括移动设备上的自然语言处理任务，如语音助手、聊天机器人和文本生成等。通过优化小型语言模型的性能，可以在资源受限的环境中实现更高效的语言理解和生成，具有重要的实际价值和广泛的市场前景。

📄 摘要（原文）

The power of large language models (LLMs) has been demonstrated through numerous data and computing resources. However, the application of language models on mobile devices is facing huge challenge on the computation and memory costs, that is, tiny language models with high performance are urgently required. Limited by the highly complex training process, there are many details for optimizing language models that are seldom studied carefully. In this study, based on a tiny language model with 1B parameters, we carefully design a series of empirical study to analyze the effect of each component. Three perspectives are mainly discussed, \ie, neural architecture, parameter initialization, and optimization strategy. Several design formulas are empirically proved especially effective for tiny language models, including tokenizer compression, architecture tweaking, parameter inheritance and multiple-round training. Then we train PanGu-$π$-1B Pro and PanGu-$π$-1.5B Pro on 1.6T multilingual corpora, following the established formulas. Experimental results demonstrate the improved optimization and architecture yield a notable average improvement of 8.87 on benchmark evaluation sets for PanGu-$π$-1B Pro. Besides, PanGu-$π$-1.5B Pro surpasses a range of SOTA models with larger model sizes, validating its superior performance. The code is available at https://github.com/YuchuanTian/RethinkTinyLM.