Prune Gradually, Adapt Sparsely: Efficient Pruning of Large Language Models at Extreme Sparsity

📄 arXiv: 2610.41968v1 📥 PDF

作者: Jean Lucien Randrianantenaina, Hung Nguyen, Nasib Ullah, Jinbin Zhang, Nilesh Gupta, Inderjit S. Dhillon, Rohit Babbar

分类: cs.AI

发布日期: 2026-10-30

💡 一句话要点

提出ETAPS以解决大语言模型高稀疏性下的质量保持问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 权重剪枝 大语言模型 稀疏性 模型优化 自然语言处理 计算效率 深度学习

📋 核心要点

  1. 现有剪枝方法在高稀疏性下难以保持模型质量，存在质量与成本的权衡问题。
  2. ETAPS方法通过逐步剪枝和稀疏适应，优化稀疏性约束，保持每次剪枝的影响较小。
  3. ETAPS在多个模型上表现优异，困惑度在50%到90%稀疏性下均优于ELSA，且计算成本显著降低。

📝 摘要（中文）

权重剪枝可以降低大语言模型（LLMs）的存储和推理成本，但在高稀疏性下保持质量仍然具有挑战性。现有方法在这一领域面临质量与成本的权衡。一次性剪枝虽然成本低，但随着稀疏性增加，质量急剧下降。为了解决这一问题，本文提出了ETAPS方法，通过逐步剪枝和稀疏适应，紧缩全局稀疏性约束，同时以小的固定预算训练稀疏增量。ETAPS在125M到13B参数的六个模型上，在50%到90%的稀疏性下均实现了比ELSA更低的困惑度，最高可降低42%。

🔬 方法详解

问题定义：本文旨在解决大语言模型在极高稀疏性下的权重剪枝问题，现有方法在这一领域面临质量下降和成本增加的双重挑战。

核心思路：ETAPS通过逐步剪枝和稀疏适应的方式，逐渐收紧全局稀疏性约束，确保每次剪枝对模型的影响较小，从而使得稀疏适应能够有效补偿质量损失。

技术框架：ETAPS的整体架构包括两个主要阶段：首先是逐步剪枝阶段，在此阶段中，模型在固定预算内进行稀疏增量训练；其次是稀疏适应阶段，通过提供端到端的梯度来指导后续的剪枝决策。

关键创新：ETAPS的核心创新在于其逐步剪枝的策略，使得每一步剪枝都足够小，从而避免了对模型大小的优化器状态的需求，这与现有方法形成了鲜明对比。

关键设计：ETAPS在参数设置上采用了固定的预算限制，损失函数设计上注重保持模型的质量，同时在网络结构上确保剪枝过程的高效性。具体的技术细节包括对稀疏性约束的动态调整和剪枝决策的实时反馈机制。

📊 实验亮点

ETAPS在多个模型上实现了显著的性能提升，在50%到90%的稀疏性下，困惑度均低于ELSA，最高降低幅度达到42%。此外，在90%稀疏性下，ETAPS仅需一台H200进行剪枝，而ELSA则需四台，显示出更高的计算效率。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、机器翻译和对话系统等。通过降低大语言模型的存储和推理成本，ETAPS能够使得高性能模型在资源受限的环境中得以应用，推动智能应用的普及与发展。

📄 摘要（原文）

Weight pruning can reduce the storage and inference cost of large language models (LLMs), but preserving quality at high sparsity levels remains challenging. Existing methods face a quality-cost trade-off in this regime. One-shot pruning is cheap but degrades sharply as sparsity increases, even when followed by post-pruning recovery. A growing line of work instead optimizes the mask directly from the dense model under the end-to-end objective; among these methods, [Lee et al.,2026], the recent state of the art at extreme sparsity, reaches high quality but at the cost of model-sized optimizer state and auxiliary variables. To address this gap, we propose ETAPS, which prunes gradually and adapts sparsely: it tightens a global sparsity constraint in progressive stages while training a sparse delta with a small, fixed budget. Our key observation is that gradual weight removal keeps each pruning step small enough for sparse adaptation to compensate, allowing the adapted model to provide end-to-end gradients that guide the next pruning decision without model-sized optimizer state. Across six models from 125M to 13B parameters, ETAPS achieves lower perplexity than ELSA at every evaluated sparsity from 50% to 90%, with perplexity reductions of up to 42%. ETAPS is also far cheaper: at 90% sparsity, it prunes LLaMA2-7B on a single H200, where ELSA uses four, with $5.0\times$ smaller total persistent state and 49% fewer GPU-hours. Together, our findings point to a promising direction for achieving high quality in demanding regimes such as extreme sparsity at substantially lower cost.