Output-Space Allocation Costs for Calibration-Guided LLM Compression: An Empirical Study

📄 arXiv: 2606.27785v1 📥 PDF

作者: Qiong Tang, Xiangkun Hu, Xiangyang Liu, Yiran Chen, Yunfan Shao

分类: cs.CL, cs.AI

发布日期: 2026-06-26

💡 一句话要点

提出基于输出空间分配成本的LLM压缩方法以提高模型精度

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 模型压缩 校准数据 输出空间 多选择背包问题 稀疏字典分解 性能评估

📋 核心要点

  1. 现有的无训练压缩方法在压缩决策中依赖校准数据，但常常未能有效提升模型的保真度。
  2. 本文提出了一种新的压缩方法ROCKET-ActCost，通过将分配成本与输出空间目标对齐，旨在提高压缩模型的性能。
  3. 实验结果显示，在Qwen3-8B模型上，ROCKET-ActCost在准确率上提升了0.8个百分点，但困惑度有所增加，揭示了压缩效果的权衡。

📝 摘要（中文）

针对大型语言模型（LLMs）的无训练压缩方法，通常利用校准数据指导压缩决策。ROCKET是一种结合稀疏字典分解与多选择背包问题（MCKP）分配的最新方法，其每层分解源自输出重构目标，但使用权重空间的Frobenius误差作为MCKP分配成本。我们研究了将分配成本与输出空间目标对齐是否能提高压缩模型的保真度。在Qwen3-8B模型上进行50%的压缩时，ROCKET-ActCost在8个零-shot基准测试中平均准确率提高了0.8个百分点（53.1%对52.3%），但WikiText的困惑度增加了16%（61.46对52.98）。这种准确率与困惑度的权衡揭示了不同的分配目标有利于不同的下游指标。权重空间与输出空间误差之间的高相关性（>0.99）限制了分配的差异，解释了效果的适度。对于Llama-3.2-1B模型在20%压缩下，两种方法的结果几乎相同（53.3%对53.5%准确率，14.45对14.66 PPL），表明在较低压缩比下成本函数的影响较小。

🔬 方法详解

问题定义：本文旨在解决大型语言模型压缩过程中，现有方法在压缩决策中未能有效利用输出空间目标的问题，导致模型保真度不足。

核心思路：提出ROCKET-ActCost方法，通过将分配成本与输出空间重构目标对齐，期望在压缩过程中提高模型的准确性和保真度。

技术框架：该方法结合了稀疏字典分解与多选择背包问题（MCKP）分配，整体流程包括数据校准、分配成本计算、模型压缩与评估等主要模块。

关键创新：ROCKET-ActCost的核心创新在于将分配成本从传统的权重空间Frobenius误差转变为与输出空间目标对齐的成本，从而更好地反映模型的实际性能。

关键设计：在参数设置上，采用了特定的损失函数以优化输出重构目标，并在模型结构上进行了适应性调整，以适应不同压缩比下的性能需求。

🖼️ 关键图片

fig_0

📊 实验亮点

实验结果表明，在Qwen3-8B模型上，ROCKET-ActCost方法的平均准确率提升了0.8个百分点（53.1%对52.3%），但WikiText困惑度增加了16%（61.46对52.98），显示出准确率与困惑度之间的权衡关系。在Llama-3.2-1B模型上，两个方法的表现几乎相同，表明在低压缩比下成本函数的影响较小。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、对话系统和文本生成等。通过提高大型语言模型的压缩效率和保真度，能够在资源受限的环境中实现更高效的模型部署，具有重要的实际价值和未来影响。

📄 摘要（原文）

Training-free compression methods for large language models (LLMs) often use calibration data to guide compression decisions. ROCKET, a recent method combining sparse-dictionary factorization with multi-choice knapsack problem (MCKP) allocation, derives its per-layer factorization from an output reconstruction objective but uses weight-space Frobenius error as the MCKP allocation cost. We investigate whether aligning the allocation cost with the output-space objective improves compressed model fidelity. On Qwen3-8B at 50\% compression, our ROCKET-ActCost achieves +0.8 percentage points higher average accuracy across 8 zero-shot benchmarks (53.1\% vs 52.3\%), but increases WikiText perplexity by 16\% (61.46 vs 52.98). This accuracy-perplexity tradeoff reveals that different allocation objectives favor different downstream metrics. The high correlation ($>$0.99) between weight-space and output-space errors limits allocation divergence, explaining the modest effect size. On Llama-3.2-1B at 20\% compression, the two methods produce near-identical results (53.3\% vs 53.5\% accuracy, 14.45 vs 14.66 PPL), suggesting that the effect of the cost function is minor at lower compression ratios.