APT: Adaptive Pruning and Tuning Pretrained Language Models for Efficient Training and Inference

📄 arXiv: 2401.12200v2 📥 PDF

作者: Bowen Zhao, Hannaneh Hajishirzi, Qingqing Cao

分类: cs.CL, cs.LG

发布日期: 2024-01-22 (更新: 2024-06-04)

备注: Accepted to ICML 2024 Oral; code available at https://github.com/ROIM1998/APT

💡 一句话要点

提出APT以提高大语言模型的训练与推理效率

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 自适应剪枝 语言模型 微调 推理效率 参数优化

📋 核心要点

  1. 现有的微调方法虽然能减少训练内存，但推理效率未得到改善，且结构化剪枝增加了训练时间和内存消耗。
  2. APT方法通过动态添加重要参数和剪除不重要参数，旨在同时提高训练和推理的效率。
  3. 实验结果显示，APT在保持高任务性能的同时，显著加快了微调速度并减少了内存占用。

📝 摘要（中文）

大语言模型的微调和推理通常成本高昂。尽管参数高效的微调方法通过更新少量参数来减少训练内存，但并未提高推理效率。结构化剪枝虽然能提高推理效率，却往往增加训练内存和时间。为此，本文提出APT方法，能够自适应地剪枝和调整语言模型的参数。在微调的早期阶段，APT动态添加重要的调整参数以实现快速和准确的收敛，同时丢弃不重要的参数以提高效率。实验结果表明，APT在保留40%参数的情况下，能够保持RoBERTa和T5模型的任务性能高达98%，并在保留70%参数的情况下保持LLaMA模型的性能为86.4%。此外，APT还将微调速度提升至8倍，并将大语言模型的内存训练占用减少至70%。

🔬 方法详解

问题定义：本文旨在解决大语言模型在微调和推理阶段的高成本问题。现有方法在提高训练效率的同时，未能有效提升推理效率，且结构化剪枝往往导致训练资源的浪费。

核心思路：APT方法的核心思想是自适应地剪枝和调整模型参数。在微调的初期，APT通过动态选择重要参数来加速收敛，同时剔除不重要的参数以提高整体效率。

技术框架：APT的整体架构包括两个主要阶段：首先，在微调初期动态添加重要参数；其次，随着训练的进行，逐步剪除不重要的参数。该方法通过这种动态调整机制，优化了模型的训练和推理过程。

关键创新：APT的主要创新在于其自适应剪枝和调优策略，能够在保持模型性能的同时，显著减少参数数量和内存占用。这一方法与传统的静态剪枝和微调方法有本质区别。

关键设计：在APT中，关键的参数设置包括剪枝比例和动态调整的阈值。此外，损失函数的设计也考虑了剪枝对模型性能的影响，以确保在剪枝过程中不会显著降低模型的任务性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

APT方法在实验中表现出色，能够在保留40%参数的情况下，保持RoBERTa和T5模型的任务性能高达98%，同时在保留70%参数的情况下，LLaMA模型的性能为86.4%。此外，APT还将微调速度提升至8倍，内存占用减少至70%。

🎯 应用场景

APT方法在自然语言处理、对话系统和文本生成等领域具有广泛的应用潜力。通过提高大语言模型的训练和推理效率，APT能够使得这些模型在资源受限的环境中更具实用性，推动智能应用的普及与发展。

📄 摘要（原文）

Fine-tuning and inference with large Language Models (LM) are generally known to be expensive. Parameter-efficient fine-tuning over pretrained LMs reduces training memory by updating a small number of LM parameters but does not improve inference efficiency. Structured pruning improves LM inference efficiency by removing consistent parameter blocks, yet often increases training memory and time. To improve both training and inference efficiency, we introduce APT that adaptively prunes and tunes parameters for the LMs. At the early stage of fine-tuning, APT dynamically adds salient tuning parameters for fast and accurate convergence while discarding unimportant parameters for efficiency. Compared to baselines, our experiments show that APT maintains up to 98% task performance when pruning RoBERTa and T5 models with 40% parameters left while keeping 86.4% LLaMA models' performance with 70% parameters remained. Furthermore, APT speeds up LMs fine-tuning by up to 8x and reduces large LMs memory training footprint by up to 70%.