COEC: Calibrated Orthogonal-Equivalence Compensation for Structured Pruning of Large Language Models

📄 arXiv: 2608.21142v1 📥 PDF

作者: Peiqi Yu, Nam Ling, Wei Wang, Wei Jiang

分类: cs.LG

发布日期: 2026-08-21

💡 一句话要点

提出COEC以解决大语言模型结构化剪枝后的性能下降问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 结构化剪枝 补偿方法 正交旋转 模型优化 自然语言处理 机器学习

📋 核心要点

  1. 现有的补偿方法在结构化剪枝后无法有效适应保留权重，导致模型性能下降。
  2. COEC通过交替的正交旋转和校准Gram矩阵，提供了一种新的无训练补偿框架，增强了模型的适应能力。
  3. 实验结果显示，COEC在Llama-3、Llama-3.1和Qwen2.5模型上均提升了困惑度和零-shot准确性，尤其在高稀疏情况下效果显著。

📝 摘要（中文）

结构化剪枝通过移除权重列来减少大语言模型的大小和推理成本，但可能导致输出误差，从而降低准确性。现有的无训练补偿方法使用加性偏差或单一正交旋转，这限制了保留权重在列移除后的适应能力。本文提出了COEC（校准正交等价补偿），一种无训练补偿框架，通过交替的左、右正交旋转来优化保留权重，右旋转在减少的斯蒂费尔流形上优化，同时使用广义交叉验证重新缩放奇异值，以选择每层的正则化强度。COEC还通过调节校准Gram矩阵来减少高能激活方向的主导性，并引入对齐惩罚以保持相邻注意力投影之间的几何关系。所有组件均使用来自小型校准集的二阶统计信息，无需通过LLM反向传播或重新训练模型参数。实验表明，COEC在多个结构稀疏级别上改善了每个模型的困惑度和大多数设置下的零-shot准确性，尤其在高稀疏情况下提升更为显著。

🔬 方法详解

问题定义：本文旨在解决大语言模型在结构化剪枝后因权重列移除而导致的性能下降问题。现有的补偿方法如加性偏差或单一正交旋转无法有效适应保留权重，限制了模型的表现。

核心思路：COEC提出了一种新的无训练补偿框架，通过交替的左、右正交旋转来优化保留权重，旨在提高模型在剪枝后的适应能力和准确性。

技术框架：COEC的整体架构包括两个主要模块：一是基于减少的斯蒂费尔流形的右旋转优化，二是通过广义交叉验证重新缩放奇异值以选择正则化强度。框架还包括校准Gram矩阵的调节和对齐惩罚的引入。

关键创新：COEC的主要创新在于其交替正交旋转的设计，这与现有方法的单一修正方式形成鲜明对比，能够更好地适应剪枝后的权重结构。

关键设计：在参数设置上，COEC使用来自小型校准集的二阶统计信息，避免了反向传播和模型参数的重新训练，确保了补偿过程的高效性。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果表明，COEC在Llama-3、Llama-3.1和Qwen2.5模型上均显著改善了困惑度，且在大多数设置下的零-shot准确性也有所提升，尤其在高稀疏情况下，提升幅度更为明显，展示了其有效性。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、机器翻译和对话系统等大语言模型的优化。通过有效的结构化剪枝和补偿，COEC能够在保持模型性能的同时显著降低计算成本，具有广泛的实际价值和未来影响。

📄 摘要（原文）

Structured pruning reduces the size and inference cost of large language models (LLMs) by removing weight columns, but the resulting output error can degrade accuracy. Existing training-free compensation methods use an additive bias or a single orthogonal rotation on the output side of the retained weight. These corrections leave its input singular frame unchanged and therefore limit how the retained weight can adapt after column removal. We propose COEC (Calibrated Orthogonal-Equivalence Compensation), a training-free compensation framework that applies alternating left and right orthogonal rotations to the retained weight. The right rotation is optimized on a reduced Stiefel manifold, while singular values are rescaled using generalized cross-validation to select the regularization strength for each layer. COEC further tempers the calibration Gram matrix to reduce the dominance of high-energy activation directions and introduces an alignment penalty that preserves the geometric relation between adjacent attention projections.All components use second-order statistics from a small calibration set and require neither backpropagation through the LLM nor retraining of the model parameters. COEC is independent of the column pruning criterion and can be applied to multiple structured pruning methods. Experiments on the Llama-3, Llama-3.1, and Qwen2.5 model families across multiple structured sparsity levels show that COEC improves perplexity on every model and zero-shot accuracy in most settings over existing compensation methods, with larger gains at higher sparsity. These results show that post-pruning compensation can recover part of the performance lost to column removal.