Residual Sparsification via Output Importance for Compressing Mixture-of-Experts LLMs

📄 arXiv: 2609.00575v1 📥 PDF

作者: Seungwoo Jung, Dohyeok Kwon, Seungmin Cha, Junseok Lee, Yeonho Yoo, Chuck Yoo, Gyeongsik Yang

分类: cs.AI

发布日期: 2026-09-01

备注: Accepted to EMNLP 2026 (Main Conference)

💡 一句话要点

提出PARSER以解决Mixture-of-Experts模型压缩中的准确性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: Mixture-of-Experts 模型压缩 残差稀疏化 输出重要性 深度学习 自然语言处理 GPU内存优化

📋 核心要点

  1. 现有的残差稀疏化方法独立压缩每个专家的残差矩阵，导致模型输出的准确性下降。
  2. 本文提出PARSER，通过引入输出重要性，优化压缩目标以保持专家输出的准确性。
  3. 实验结果显示，PARSER在准确性上相较于现有方法有显著提升，同时保持了内存压缩效果。

📝 摘要（中文）

Mixture-of-experts（MoE）架构有效扩展了大型语言模型，但对GPU内存的需求巨大。为应对这一需求，常用压缩技术来减少内存占用。现有的残差稀疏化方法独立压缩每个专家的残差矩阵，导致模型准确性下降。为此，本文提出了一种新方法PARSER，通过引入输出重要性来优化压缩目标，从而更好地保持模型的输出准确性。实验结果表明，PARSER在Qwen和DeepSeek上分别缩小了与未压缩模型的准确性差距1.41倍和1.44倍，同时实现了相同的峰值内存减少。

🔬 方法详解

问题定义：本文解决的是Mixture-of-experts模型在压缩过程中准确性下降的问题。现有方法通过独立压缩每个残差矩阵，未能有效考虑多个投影和隐藏表示之间的相互影响，导致最终输出错误增大。

核心思路：PARSER的核心思路是将压缩目标从最小化单个矩阵的误差转变为保持专家输出的准确性。通过引入输出重要性，PARSER能够更好地评估各个残差对最终输出的贡献，从而优化压缩过程。

技术框架：PARSER的整体架构包括三个主要模块：首先是残差矩阵的分解，接着是输出重要性的计算，最后是基于输出重要性进行的残差压缩。该框架确保了在压缩过程中对模型准确性的有效保护。

关键创新：PARSER的关键创新在于引入了输出重要性这一概念，使得压缩过程能够更精准地关注对最终输出影响较大的残差。这一方法与现有的独立压缩方法本质上不同，后者未能考虑输出的整体影响。

关键设计：在设计上，PARSER采用了特定的损失函数来量化输出重要性，并在残差矩阵的压缩过程中引入了权重调整机制，以确保对重要输出的保护。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，PARSER在Qwen和DeepSeek数据集上分别缩小了与未压缩模型的准确性差距1.41倍和1.44倍，同时实现了相同的峰值内存减少。这一显著提升展示了PARSER在保持模型性能方面的有效性。

🎯 应用场景

该研究的潜在应用领域包括大型语言模型的优化和部署，尤其是在资源受限的环境中。通过提高模型的压缩效率和保持准确性，PARSER可广泛应用于自然语言处理、对话系统以及其他需要高效推理的AI应用场景，具有重要的实际价值和未来影响。

📄 摘要（原文）

Mixture-of-experts (MoE) architectures scale large language models efficiently, but they demand massive GPU memory. To cope with such demand, models are commonly compressed to reduce their memory footprint. Residual sparsification is a representative compression technique that decomposes each projection matrix of an expert into a shared base matrix and per-expert residual matrix, and then compresses the residuals. Existing sparsification methods compress each residual matrix independently by minimizing its compression error, thereby minimizing the error of each projection matrix. However, our analysis shows that this objective is misaligned with preserving model accuracy after compression. In an expert, the final output is produced through computations coupled across multiple projections and hidden representations. Therefore, even small errors in individual matrices can propagate through hidden representations and projection interactions, leading to large expert output errors and accuracy degradation. To address this misalignment, we propose PARSER, a new residual sparsification method that shifts the compression objective from minimizing isolated matrix errors to preserving the expert output error. PARSER achieves this by introducing output importance, which measures the actual contribution to the expert output error. Our experiments show that, compared with existing methods, PARSER narrows the accuracy gap to the uncompressed model by 1.41$\times$ on Qwen and 1.44$\times$ on DeepSeek, while achieving the same peak memory reduction.