Unraveling the Mystery of Scaling Laws: Part I
作者: Hui Su, Zhi Tian, Xiaoyu Shen, Xunliang Cai
分类: cs.LG, cs.CL
发布日期: 2024-03-11 (更新: 2024-04-05)
💡 一句话要点
提出新的缩放法则以优化大规模语言模型训练
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 缩放法则 大规模语言模型 模型训练 损失预测 参数估计
📋 核心要点
- 现有缩放法则研究未能充分揭示模型训练中重要因素的影响，导致预测公式不够可靠。
- 本文提出了一种新的方法，通过训练小规模模型来估计缩放法则中的常数项，从而提高预测准确性。
- 实验结果表明，使用新公式可以准确预测最大330亿参数模型的测试损失及训练需求，显著提升了模型训练的效率。
📝 摘要（中文）
缩放法则原理表明损失与模型规模、数据集规模及训练所用计算资源之间存在幂律关系。这些原理在优化模型预训练的各个方面中发挥着重要作用，促进了如GPT-4、Llama和Gemini等大型语言模型的成功。然而，OpenAI原始缩放法则论文未披露完整的推导细节，且其结论仅基于最多15亿参数的模型。尽管后续研究尝试揭示这些细节并扩展到更大模型，但往往忽视了学习率、上下文长度和批量大小等重要因素的训练依赖性，导致未能建立可靠的测试损失预测公式。本文确认OpenAI论文中提出的缩放法则公式在模型规模扩展至330亿时仍然有效，但公式中的常数系数会因实验设置而显著变化。我们细致识别了影响因素，并提供透明的逐步指导，以通过训练仅包含100万至6000万参数的模型来估计所有常数项。
🔬 方法详解
问题定义：本文旨在解决现有缩放法则研究中缺乏对训练依赖性因素的考虑，导致无法准确预测大规模模型的测试损失和训练需求的问题。
核心思路：通过训练小规模模型（100万至6000万参数），估计缩放法则中的常数项，从而为大规模模型的训练提供可靠的预测公式。
技术框架：研究首先确认OpenAI原始缩放法则公式在更大模型上的有效性，然后通过实验识别影响因素，最后提供逐步指导以估计常数项。
关键创新：本文的主要创新在于通过小规模模型的训练来推导出适用于大规模模型的缩放法则公式，解决了以往研究中对训练依赖性因素的忽视。
关键设计：在实验中，设置了不同的学习率、上下文长度和批量大小，以系统性地评估这些因素对模型性能的影响，并确保估计的常数项具有较高的准确性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，使用新提出的缩放法则公式，能够在模型参数达到330亿时，准确预测最小测试损失、所需训练步骤及处理的token数量，提升了训练效率和资源利用率。相较于传统方法，新的公式在多个实验设置中表现出更高的预测准确性。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理、机器翻译和对话系统等大规模语言模型的训练与优化。通过准确预测模型训练需求，研究可以帮助研究人员和工程师更高效地配置计算资源，降低训练成本，提高模型性能，推动人工智能技术的发展。
📄 摘要（原文）
Scaling law principles indicate a power-law correlation between loss and variables such as model size, dataset size, and computational resources utilized during training. These principles play a vital role in optimizing various aspects of model pre-training, ultimately contributing to the success of large language models such as GPT-4, Llama and Gemini. However, the original scaling law paper by OpenAI did not disclose the complete details necessary to derive the precise scaling law formulas, and their conclusions are only based on models containing up to 1.5 billion parameters. Though some subsequent works attempt to unveil these details and scale to larger models, they often neglect the training dependency of important factors such as the learning rate, context length and batch size, leading to their failure to establish a reliable formula for predicting the test loss trajectory. In this technical report, we confirm that the scaling law formulations proposed in the original OpenAI paper remain valid when scaling the model size up to 33 billion, but the constant coefficients in these formulas vary significantly with the experiment setup. We meticulously identify influential factors and provide transparent, step-by-step instructions to estimate all constant terms in scaling-law formulas by training on models with only 1M~60M parameters. Using these estimated formulas, we showcase the capability to accurately predict various attributes for models with up to 33B parameters before their training, including (1) the minimum possible test loss; (2) the minimum required training steps and processed tokens to achieve a specific loss; (3) the critical batch size with an optimal time/computation trade-off at any loss value; and (4) the complete test loss trajectory with arbitrary batch size.