EPTS: Elastic Post-Training Sparsity for Efficient Large Language Model Compression

📄 arXiv: 2606.25285v1 📥 PDF

作者: Ke Xu, Jiaqi Wan, Wenhao Hu, Han Pu, Xiaoyun Wang

分类: cs.LG, cs.AI

发布日期: 2026-06-24

备注: KDD 2026

🔗 代码/项目: GITHUB

💡 一句话要点

提出弹性后训练稀疏性以解决大语言模型压缩问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 后训练稀疏性 大语言模型 模型压缩 多稀疏框架 智能应用 边缘计算 自然语言处理

📋 核心要点

  1. 现有的后训练稀疏性方法通常只能进行单一稀疏优化，导致在不同硬件场景下的灵活部署受到限制。
  2. 论文提出的弹性后训练稀疏性（EPTS）框架，能够通过一次优化生成适应多种稀疏配置的弹性模型，提升了模型的灵活性。
  3. 实验结果显示，EPTS在多个基准测试中与当前最先进的方法相比，性能相当，同时在效率上有显著提升。

📝 摘要（中文）

后训练稀疏性（PTS）已成为压缩大语言模型的重要范式，以便在资源受限的设备上高效部署。然而，现有的PTS方法通常局限于单一稀疏优化，需要为每个特定稀疏水平进行单独且耗时的优化过程。为了解决这些局限性，我们提出了弹性后训练稀疏性（EPTS），这是一个统一的多稀疏框架，能够通过一次优化过程生成一个在不同稀疏配置下保持强大性能的弹性模型。我们设计了多稀疏层次LoRA（MS-HiLoRA）机制，促进了从低稀疏到高稀疏组的知识继承，并引入了多稀疏特征混合器（MSFM），显著增强了模型对剪枝扰动的适应性。大量实验表明，EPTS在LLaMA和OPT系列上表现出与最先进的方法（如SparseGPT和Wanda）竞争的性能，同时通过单次优化实现了多场景部署的显著效率提升。

🔬 方法详解

问题定义：本文旨在解决现有后训练稀疏性方法在不同稀疏水平下需重复优化的问题，这种方法限制了模型在多种硬件环境中的灵活应用。

核心思路：提出弹性后训练稀疏性（EPTS），通过一次优化生成一个能够适应多种稀疏配置的模型，避免了重复优化的时间消耗。

技术框架：EPTS框架包括多稀疏层次LoRA（MS-HiLoRA）和多稀疏特征混合器（MSFM）两个主要模块，前者促进知识的继承，后者增强模型对不同稀疏粒度的适应性。

关键创新：最重要的创新在于MS-HiLoRA机制和MSFM的设计，使得模型能够在不同稀疏配置下保持性能稳定，显著区别于传统的单一稀疏优化方法。

关键设计：在设计中，MS-HiLoRA通过层次化的方式进行知识传递，MSFM则通过动态融合不同稀疏特征表示来增强模型的适应性，具体的参数设置和损失函数设计在实验中进行了详细验证。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，EPTS在LLaMA和OPT系列模型上实现了与SparseGPT和Wanda等最先进方法相当的性能，同时在多场景部署的效率上提升了显著的优势，具体提升幅度未知。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、智能助手和边缘计算设备等。通过实现高效的模型压缩，EPTS能够在资源受限的环境中部署大语言模型，提升智能应用的响应速度和用户体验，具有重要的实际价值和广泛的未来影响。

📄 摘要（原文）

Post-Training Sparsity (PTS) has emerged as a crucial paradigm for compressing Large Language Models to facilitate efficient deployment on resource-constrained devices. However, existing PTS methodologies are typically confined to Single-Sparsity optimization, necessitating a separate, time-consuming optimization session for each specific sparsity level. This rigid paradigm significantly hinders flexible deployment across diverse hardware scenarios, as adapting to a new sparsity requirement mandates a complete re-optimization process. To address these limitations, we propose Elastic Post-Training Sparsity (EPTS), a unified Multi-Sparsity framework that produces a single elastic model capable of maintaining robust performance across diverse sparsity configurations through a one-shot optimization process. Specifically, we design a Multi-Sparsity Hierarchy LoRA (MS-HiLoRA) mechanism that facilitates knowledge inheritance from low- to high-sparsity groups, effectively mitigating the competition for parameter reconstruction. Furthermore, we introduce a Multi-Sparsity Feature Mixer (MSFM), which significantly enhances the model's adaptability to pruning perturbations by dynamically fusing feature representations of varying sparsity granularities. Extensive experiments on LLaMA and OPT families demonstrate that EPTS achieves competitive performance compared to state-of-the-art methods like SparseGPT and Wanda, while offering significant efficiency gains by enabling multi-scenario deployment from a single optimization. our source code is available at https://github.com/xuke225/EPTS.