Experts Exhibit Structured Redundancy: Structure-Preserving Expert Pruning for Mixture-of-Experts Large Language Models

📄 arXiv: 2610.41236v1 📥 PDF

作者: Tian Wang, Yongding Tao, Yihong Dong, Xiaoming Wu, Ying Guo, Ge Li

分类: cs.AI

发布日期: 2026-10-30

💡 一句话要点

提出结构保留专家剪枝方法以优化MoE大语言模型

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 稀疏混合专家 专家剪枝 模型优化 推理效率 深度学习

📋 核心要点

  1. 现有的稀疏混合专家模型在实际部署中需要存储所有专家，导致内存开销大，影响效率。
  2. 论文提出将专家剪枝视为结构保留的专家子集选择问题，通过贪心策略优化，提升了剪枝效率。
  3. 实验表明，提出的方法在多个基准测试中超越了现有最优方法，尤其在75%和50%的专家保留比例下表现优异。

📝 摘要（中文）

稀疏混合专家（MoE）机制显著改善了模型容量与推理效率之间的权衡。然而，实际部署仍需存储所有专家，导致显著的内存开销。我们发现MoE层中的专家输出存在结构冗余。不同模型和任务类别中，专家输出的稳定秩和熵有效秩始终远低于名义专家数量，同时专家输出分布也表现出更少的有效模式。基于这些观察，我们将专家剪枝重新定义为结构保留的专家子集选择问题，并通过贪心策略高效优化，而不是仅仅独立评分和排名个别专家或穷举搜索专家组合。我们提出了两种专家剪枝方法：投影能量专家剪枝（PEEP）和分布覆盖专家剪枝（DCEP），前者通过最大化加权投影能量来保留功能子空间，后者通过最小化加权覆盖误差来保留分布几何。两种方法都结合了路由器导出的权重作为先验，使其能够共同保留专家之间的全局结构关系，同时考虑个别专家的局部重要性。实验结果表明，在专家保留比例为75%和50%时，我们的方法在大多数基准测试中优于最先进的基线，并在一般任务和数学推理任务中始终实现最佳平均性能。

🔬 方法详解

问题定义：本论文旨在解决稀疏混合专家模型在实际应用中存储所有专家所带来的内存开销问题。现有方法通常只关注个别专家的评分与排名，未能有效利用专家输出的结构冗余。

核心思路：论文的核心思路是将专家剪枝重新定义为结构保留的专家子集选择问题，利用专家输出的结构冗余，通过贪心策略高效选择专家子集，从而减少内存占用而不损失性能。

技术框架：整体框架包括两个主要模块：投影能量专家剪枝（PEEP）和分布覆盖专家剪枝（DCEP）。PEEP通过最大化加权投影能量来保留功能子空间，而DCEP则通过最小化加权覆盖误差来保留分布几何。两者结合了路由器导出的权重作为先验信息。

关键创新：最重要的技术创新在于将专家剪枝问题转化为结构保留的选择问题，采用贪心策略而非传统的独立评分或穷举搜索，从而提高了剪枝的效率和效果。

关键设计：在设计中，PEEP和DCEP方法分别定义了加权投影能量和加权覆盖误差的损失函数，确保在剪枝过程中保留专家之间的全局结构关系，同时考虑个别专家的重要性。

🖼️ 关键图片

fig_0

📊 实验亮点

实验结果显示，在专家保留比例为75%和50%时，提出的PEEP和DCEP方法在大多数基准测试中超越了现有最先进的基线，尤其在一般任务和数学推理任务中实现了最佳平均性能，展现出显著的性能提升。

🎯 应用场景

该研究的潜在应用领域包括大规模语言模型的优化、资源受限环境下的模型部署以及实时推理系统。通过减少内存占用而不损失性能，能够在边缘计算和移动设备等场景中实现更高效的AI应用，具有重要的实际价值和未来影响。

📄 摘要（原文）

Sparse MoE mechanism significantly improves the trade-off between model capacity and inference efficiency. However, practical deployment still requires storing all experts, resulting in substantial memory overhead. We show that expert outputs in MoE layers exhibit structured redundancy. Across different models and task categories, the stable rank and entropy effective rank of expert outputs are consistently far below the nominal number of experts, while expert output distributions also exhibit fewer effective modes. Motivated by these observations, we reformulate expert pruning as a structure-preserving expert subset selection problem and efficiently optimize it via a greedy strategy, rather than only independently scoring and ranking individual experts or exhaustively searching over expert combinations. We propose two expert pruning methods under the unified structure-preserving framework: Projection Energy Expert Pruning (PEEP), which preserves the functional subspace by maximizing weighted projection energy, and Distributional Coverage Expert Pruning (DCEP), which preserves the distributional geometry by minimizing weighted coverage error. Both methods incorporate router-derived weights as priors, enabling them to jointly preserve the global structural relationships among experts while accounting for the local importance of individual experts. Experiments on DeepSeek-V2-Lite and Qwen3-30B-A3B demonstrate that, at the expert retention ratios of 75% and 50%, our methods outperform the state-of-the-art baselines on the majority of benchmarks and consistently achieve the best average performance across both general tasks and mathematical reasoning tasks.