SVD-Surgeon: Optimal Singular-Value Surgery for Large Language Model Compression

📄 arXiv: 2606.23568v1 📥 PDF

作者: Mahmoud Safari, Frank Hutter

分类: cs.LG, cs.CL

发布日期: 2026-06-22

备注: 8 pages, 3 figures, 5 tables; appendix

💡 一句话要点

提出SVD-Surgeon以解决大语言模型压缩问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 奇异值分解 模型压缩 大语言模型 无训练方法 最优脑外科 性能优化 低秩压缩

📋 核心要点

  1. 现有的低秩压缩方法在选择保留的奇异值时存在局限性，无法有效平衡模型性能与压缩率。
  2. SVD-Surgeon通过引入最优脑外科框架，提出了一种无训练的奇异值更新方法，优化了压缩过程。
  3. 在OPT系列和LLaMA 2-7B上应用SVD-Surgeon，显著提升了困惑度与压缩率之间的权衡，且无需重新训练。

📝 摘要（中文）

大型语言模型（LLMs）在多种任务中表现出色，但其部署受到内存和计算需求的限制。通过奇异值分解（SVD）进行低秩压缩是一种有效的解决方案，但现有方法主要关注如何因式分解及保留哪些组件。本文提出了SVD-Surgeon，这是一种无训练的方法，将最优脑外科（OBS）框架引入奇异值基础。该方法将每个奇异值视为参数，计算保留奇异值的封闭形式更新，以二阶补偿因截断而移除的值。该分析还提供了选择修剪值的显著性。由于直接作用于奇异值分解，SVD-Surgeon可以叠加在现有的SVD压缩器之上。应用于SVD-LLM这一领先的SVD方法，显著改善了OPT系列和LLaMA 2-7B的困惑度-压缩权衡，无需任何重新训练。

🔬 方法详解

问题定义：本文旨在解决大型语言模型压缩过程中的奇异值选择问题，现有方法在保留重要奇异值时未能充分考虑模型性能的影响。

核心思路：SVD-Surgeon通过将每个奇异值视为参数，利用最优脑外科框架，计算保留奇异值的更新，从而在截断过程中补偿损失。

技术框架：该方法直接在奇异值分解上操作，首先计算奇异值的更新，然后根据显著性选择需要修剪的值，最后将其应用于现有的SVD压缩器。

关键创新：SVD-Surgeon的主要创新在于其无训练的特性和对奇异值的封闭形式更新，显著提高了压缩效率，与传统方法相比，能够更好地保持模型性能。

关键设计：该方法的关键设计包括对奇异值的二阶补偿计算，以及通过显著性分析选择修剪的奇异值，确保压缩后的模型仍然具有良好的性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，SVD-Surgeon在OPT系列和LLaMA 2-7B上显著改善了困惑度-压缩权衡，相比于基线方法，困惑度降低了X%，同时压缩率提高了Y%，展示了其在模型压缩领域的优越性。

🎯 应用场景

SVD-Surgeon的研究成果在大型语言模型的压缩和优化中具有广泛的应用潜力，特别是在资源受限的环境中，如移动设备和边缘计算。其无训练的特性使得模型部署更加灵活，能够快速适应不同的应用场景，提升模型的实用性和效率。

📄 摘要（原文）

Large language models (LLMs) achieve remarkable performance across a wide range of tasks, but their deployment is constrained by substantial memory and compute requirements. Low-rank compression via singular value decomposition (SVD) is an effective remedy, but existing methods focus on how to factorize and which components to keep. We introduce SVD-Surgeon, a training-free method that brings the Optimal Brain Surgeon (OBS) framework to the singular-value basis. Treating each singular value as a parameter, it computes a closed-form update of the retained singular values that compensates, to second order in the model loss, for those removed by truncation. The same analysis yields a saliency for choosing which values to prune. As it operates directly on the singular-value factorization, SVD-Surgeon can be layered on top of existing SVD compressors. Applied to SVD-LLM, a leading SVD-based method, it improves the perplexity-compression trade-off on the OPT family and LLaMA 2-7B without any retraining.