Selecting Large Language Model to Fine-tune via Rectified Scaling Law
作者: Haowei Lin, Baizhou Huang, Haotian Ye, Qinyu Chen, Zihao Wang, Sujian Li, Jianzhu Ma, Xiaojun Wan, James Zou, Yitao Liang
分类: cs.LG, cs.AI, cs.CL
发布日期: 2024-02-04 (更新: 2024-05-28)
期刊: ICML 2024
💡 一句话要点
提出修正缩放法则以优化大语言模型选择
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大语言模型 微调 缩放法则 模型选择 预学习数据量 性能预测 资源优化
📋 核心要点
- 现有方法在选择合适的预训练模型进行微调时面临资源受限的挑战，无法有效预测微调性能。
- 论文提出通过修正缩放法则引入“预学习数据量”概念，来更准确地预测微调性能并优化模型选择。
- 实验结果表明，所提算法在资源消耗上显著降低，能够选择接近最优的模型，提升了选择效率。
📝 摘要（中文）
随着大语言模型（LLMs）生态系统的不断扩展，选择合适的预训练模型进行微调变得愈加困难。由于资源有限，微调所有模型并进行选择是不现实的。本文将这一资源受限的选择任务形式化为预测微调性能，并展示其与缩放法则的自然联系。我们发现，微调缩放曲线不仅包含著名的“幂相”阶段，还包括之前未观察到的“前幂相”阶段。我们解释了现有缩放法则为何无法捕捉这一相变现象，并提出了“预学习数据量”的概念，构建了修正缩放法则，克服了理论限制，更好地拟合实验结果。基于此法则，我们提出了一种新颖的LLM选择算法，能够在资源消耗上减少数百倍，同时避免其他方法可能导致的负相关选择。
🔬 方法详解
问题定义：本文旨在解决在资源受限情况下，如何有效选择合适的预训练大语言模型进行微调的问题。现有方法无法准确预测微调性能，导致选择效率低下。
核心思路：论文的核心思路是通过引入“预学习数据量”来修正缩放法则，从而更好地捕捉微调过程中的相变现象。这一设计旨在克服现有缩放法则的理论限制。
技术框架：整体架构包括模型选择的预测模块和基于修正缩放法则的评估模块。首先，通过预学习数据量评估模型性能，然后选择最优模型进行微调。
关键创新：最重要的技术创新点在于引入“前幂相”阶段的概念，使得修正缩放法则能够更全面地描述微调性能的变化。这与现有方法的本质区别在于更准确地捕捉到微调过程中的相变。
关键设计：在参数设置上，模型选择算法通过优化预学习数据量来提高选择效率，损失函数设计上则考虑了微调性能的多样性，以确保选择的模型在不同任务上的适应性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，所提算法在资源消耗上减少了数百倍，能够选择接近最优的模型，显著提升了微调性能的预测准确性，相较于传统方法，选择效率大幅提高。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理、对话系统和文本生成等。通过优化模型选择过程，可以显著降低资源消耗，提高微调效率，推动大语言模型在实际应用中的落地和推广。
📄 摘要（原文）
The ever-growing ecosystem of LLMs has posed a challenge in selecting the most appropriate pre-trained model to fine-tune amidst a sea of options. Given constrained resources, fine-tuning all models and making selections afterward is unrealistic. In this work, we formulate this resource-constrained selection task into predicting fine-tuning performance and illustrate its natural connection with Scaling Law. Unlike pre-training, we find that the fine-tuning scaling curve includes not just the well-known "power phase" but also the previously unobserved "pre-power phase". We also explain why existing Scaling Law fails to capture this phase transition phenomenon both theoretically and empirically. To address this, we introduce the concept of "pre-learned data size" into our Rectified Scaling Law, which overcomes theoretical limitations and fits experimental results much better. By leveraging our law, we propose a novel LLM selection algorithm that selects the near-optimal model with hundreds of times less resource consumption, while other methods may provide negatively correlated selection. The project page is available at rectified-scaling-law.github.io.