Everybody Prune Now: Structured Pruning of LLMs with only Forward Passes
作者: Steven Kolawole, Lucio Dery, Jean-François Kagy, Virginia Smith, Graham Neubig, Ameet Talwalkar
分类: cs.LG, cs.CL
发布日期: 2024-02-08 (更新: 2026-01-22)
备注: 19 pages, 6 fiigures, 16 tables
💡 一句话要点
提出Bonsai以解决大语言模型结构化剪枝问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 结构化剪枝 大语言模型 无梯度方法 模型压缩 前向传播 内存优化 计算效率 AI应用
📋 核心要点
- 现有的结构化剪枝方法依赖反向传播，导致内存和计算成本增加，限制了其在资源受限环境中的应用。
- Bonsai是一种无梯度的结构化剪枝方法，通过仅使用前向传播来实现高效的模型压缩，降低了内存需求。
- 实验结果表明，Bonsai在单个A6000 GPU上成功将7B和8B模型剪枝至50%稀疏度，且速度是传统方法的两倍。
📝 摘要（中文）
结构化剪枝是一种有前景的方法，用于创建更小、更快的大型语言模型。然而，现有方法通常依赖于反向传播计算梯度，这会增加内存需求和计算成本。本文提出的Bonsai是一种无梯度的结构化剪枝方法，消除了反向传播的需求，显著降低了内存需求和计算成本，同时实现了最先进的剪枝性能。Bonsai采用仅前向传播的扰动剪枝，能够在更广泛的硬件配置上高效压缩大型模型。与现有的结构化剪枝方法不同，Bonsai不仅在资源更少的情况下实现了更好的压缩，还生成了速度是半结构化剪枝模型两倍的模型。通过具体示例，我们在单个A6000 GPU上将7B和8B模型剪枝至50%稀疏度，展示了在内存受限环境中，去除反向传播作为要求的优势。
🔬 方法详解
问题定义：本文旨在解决现有结构化剪枝方法在内存和计算成本上的不足，尤其是在资源受限的环境中，反向传播的需求使得剪枝过程变得复杂和低效。
核心思路：Bonsai的核心思路是采用仅前向传播的扰动剪枝方法，消除对反向传播的依赖，从而降低内存和计算需求，同时保持高效的剪枝性能。
技术框架：Bonsai的整体架构包括前向传播阶段，通过对模型参数进行扰动来评估其重要性，进而决定剪枝策略。该方法不需要计算梯度，简化了剪枝流程。
关键创新：Bonsai的主要创新在于其无梯度剪枝策略，显著区别于传统的依赖反向传播的剪枝方法。这一设计使得在内存受限的硬件上能够处理更大的模型。
关键设计：在具体实现中，Bonsai使用了特定的扰动策略来评估参数的重要性，并通过调整剪枝比例来优化模型的稀疏性，确保在压缩模型的同时保持其性能。该方法的参数设置和网络结构设计经过精心调整，以实现最佳的剪枝效果。
🖼️ 关键图片
📊 实验亮点
实验结果显示，Bonsai在单个A6000 GPU上成功将7B和8B模型剪枝至50%稀疏度，且在速度上比半结构化剪枝方法快两倍。这一成果展示了在内存受限环境中，Bonsai的高效性和优越性，具有重要的实际应用价值。
🎯 应用场景
Bonsai方法的潜在应用领域包括自然语言处理、机器翻译和对话系统等需要高效模型的场景。通过降低内存和计算成本，Bonsai能够在资源受限的设备上部署大型语言模型，推动智能应用的普及和发展。未来，该方法可能会影响更多领域的模型压缩技术，提升AI系统的可用性和效率。
📄 摘要（原文）
Structured pruning is a promising approach to create smaller, faster large language models. However, existing methods typically rely on computing the gradient via backward passes, which can inflate memory requirements and compute costs. In this work we introduce Bonsai, a gradient-free structured pruning method that eliminates the need for backpropagation, significantly reducing memory requirements and compute costs while achieving state-of-the-art pruning performance. Bonsai uses forward-pass-only perturbative pruning to enable efficient compression of large models on a broader range of hardware configurations. Unlike existing structured pruning approaches, Bonsai not only achieves better compression with fewer resources but also produces models that are twice as fast as those generated by semi-structured pruning. As a concrete demonstration, we use Bonsai to prune 7B and 8B models to 50% sparsity on a single A6000 GPU -- a task challenging for backprop-based methods in memory-constrained settings, as they require 2-3x the memory. Our results show that removing backprop as a requirement not only enables pruning larger models on constrained hardware but can also lead to state-of-the-art efficiency and performance.