The Sparsity Whisperer
作者: Linghao Kong, Inimai Subramanian, Micah Adler, Dan Alistarh, Dan Gutfreund, Nir Shavit
分类: cs.LG
发布日期: 2026-08-06
备注: 10 pages, 3 figures. Code available at https://github.com/Shavit-Lab/Whisper
💡 一句话要点
提出差异感知剪枝方法以提升大语言模型的推理效率
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 剪枝技术 差异感知 大语言模型 推理效率 多层感知机 模型优化 稀疏性 机器学习
📋 核心要点
- 现有剪枝方法主要关注激活值的保留，忽视了输出差异的重要性，导致推理效率未能得到充分提升。
- 本文提出的差异感知剪枝方法，强调保留输出之间的差异，能够更有效地分离相似输入，从而提高模型性能。
- 在Llama 2和3.1模型的实验中，第二阶方法Whisper在重构基线之上持续提升，且更新无关的Wisp和Wisp+在受限条件下表现优异。
📝 摘要（中文）
剪枝技术可以降低大型语言模型的推理成本，但现有方法主要关注保留大激活值或重构层输出。本文指出，这种方法忽视了多层感知机中对稀疏性敏感的神经元所执行的关键计算，即将相似输入分离为不相似输出。因此，有效的剪枝应不仅保留激活值，还应更广泛地保留输出之间的差异。我们提出了一系列基于差异感知的剪枝方法，包括Wisp、Wisp+和Whisper，实验表明这些方法在多个大型模型上均优于现有基线，尤其是在受限环境下表现突出。
🔬 方法详解
问题定义：本文旨在解决现有剪枝方法未能有效保留输出差异的问题。现有方法主要关注激活值的保留，导致在推理效率上存在不足。
核心思路：论文提出的核心思路是通过保留输出之间的差异来提升剪枝效果，尤其是针对多层感知机中对稀疏性敏感的神经元。这样的设计能够更好地分离相似输入，提升模型的推理能力。
技术框架：整体架构包括三种方法：Wisp（基于输入差异范数的剪枝）、Wisp+（基于神经元分离能力的细化评分）和Whisper（基于差异Hessian的重构目标）。每种方法在不同层面上优化剪枝效果。
关键创新：最重要的技术创新在于引入了差异感知的剪枝标准，强调输出差异的保留，而非单纯的激活值。这一方法与现有的重构基线相比，提供了更为有效的剪枝策略。
关键设计：在Wisp中，使用输入差异范数对权重进行评分；Wisp+则通过每个神经元最强分离的输入对来细化评分；Whisper利用轻度正则化的差异Hessian作为重构目标，确保输出差异的保留。
🖼️ 关键图片
📊 实验亮点
实验结果显示，Whisper方法在多个大型模型上持续超越强重构基线，尤其在Llama 2和3.1模型中，第二阶方法的表现显著提升，且Wisp和Wisp+在受限条件下的表现优于激活感知基线，整体提升了模型的推理效率。
🎯 应用场景
该研究的潜在应用领域包括大型语言模型的优化与部署，尤其是在资源受限的环境中。通过提升推理效率，能够在实际应用中降低计算成本，提高响应速度，适用于实时自然语言处理任务。
📄 摘要（原文）
Pruning reduces the inference cost of large language models, but existing criteria primarily preserve large activations or reconstruct layer outputs. We argue that this overlooks a key computation performed by particularly sparsity-sensitive neurons in the MLP up and gate projections: separating similar inputs into dissimilar outputs. This suggests that effective pruning should preserve not only activations, but also the differences between outputs more broadly. We introduce a family of difference-informed pruning methods built upon this principle. Wisp is a first-order, update-free method that scores weights using input-difference norms, and Wisp+ refines this score neuronwise using the input pairs each neuron separates most strongly. Finally, Whisper is a second-order method that uses a lightly regularized difference Hessian as its reconstruction objective. Across Llama 2 and 3.1 models from 7B to 405B parameters, our second-order variant consistently improves over strong reconstruction-based baselines, while our update-free variants improve over activation-aware baselines, especially in constrained settings. The improvements over Wanda and SparseGPT extend to structured sparsity, downstream evaluations, and other model families. Augmenting stronger techniques such as RIA and ALPS with our difference-informed criteria yields further improvements, shifting the overall accuracy-runtime frontier outward at negligible additional cost. These results suggest that preserving output differences is a broadly useful and composable signal for post-training LLM sparsification.