SVD-LLM: Truncation-aware Singular Value Decomposition for Large Language Model Compression

📄 arXiv: 2403.07378v5 📥 PDF

作者: Xin Wang, Yu Zheng, Zhongwei Wan, Mi Zhang

分类: cs.CL, cs.LG

发布日期: 2024-03-12 (更新: 2025-03-16)

备注: ICLR 2025; Code available at: https://github.com/AIoT-MLSys-Lab/SVD-LLM

🔗 代码/项目: GITHUB

💡 一句话要点

提出SVD-LLM以解决大语言模型压缩中的损失问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 模型压缩 奇异值分解 后训练 低秩近似 数据白化 压缩损失

📋 核心要点

  1. 现有的基于SVD的LLM压缩方法在截断小奇异值时可能导致较高的压缩损失，并且压缩后权重未更新。
  2. SVD-LLM通过引入截断感知的数据白化技术，确保奇异值与压缩损失之间的直接关系，并采用序列低秩近似进行参数更新。
  3. 在10个数据集和七个模型的实验中，SVD-LLM在高压缩比下表现出明显的性能提升，超越了现有的最先进方法。

📝 摘要（中文）

大语言模型（LLMs）的快速发展受到其庞大体积的制约，因此需要有效的压缩方法。奇异值分解（SVD）为LLM压缩提供了有前景的解决方案。然而，现有的基于SVD的压缩方法存在两个主要局限性：截断较小的奇异值可能导致更高的压缩损失，以及在SVD截断后缺乏对压缩权重的更新。本文提出了SVD-LLM，一种基于SVD的后训练LLM压缩方法，解决了现有方法的不足。SVD-LLM结合了截断感知的数据白化技术，确保奇异值与压缩损失之间的直接映射。此外，SVD-LLM采用了序列低秩近似的参数更新，以补偿SVD压缩后的准确性下降。我们在10个数据集和来自三种不同LLM家族的七个模型上评估了SVD-LLM，结果表明其在高模型压缩比下优于现有方法。

🔬 方法详解

问题定义：本文旨在解决大语言模型压缩中的两个主要问题：一是截断小奇异值导致的压缩损失增加，二是压缩后权重未更新的问题。

核心思路：SVD-LLM的核心思路是结合截断感知的数据白化技术和序列低秩近似，确保压缩过程中的准确性和有效性。通过这种设计，模型能够在压缩后保持较高的性能。

技术框架：SVD-LLM的整体架构包括数据预处理、奇异值分解、截断感知白化、参数更新和模型评估等主要模块。每个模块协同工作，以实现高效的模型压缩。

关键创新：SVD-LLM的主要创新在于引入了截断感知的数据白化技术，使得奇异值与压缩损失之间的关系更加明确，同时通过序列低秩近似更新压缩后的权重，从而有效降低了压缩损失。

关键设计：在参数设置上，SVD-LLM采用了特定的损失函数来平衡压缩率与模型性能，网络结构上则通过低秩近似来优化模型的表达能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，SVD-LLM在10个数据集和七个不同规模的模型上进行了评估，结果显示其在高压缩比下的性能优于现有最先进的方法，具体提升幅度达到XX%（具体数据待补充）。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、对话系统和文本生成等。通过有效的模型压缩，SVD-LLM能够使大语言模型在资源受限的环境中更为高效地部署，提升实际应用的可行性和经济性。

📄 摘要（原文）

The advancements in Large Language Models (LLMs) have been hindered by their substantial sizes, which necessitates LLM compression methods for practical deployment. Singular Value Decomposition (SVD) offers a promising solution for LLM compression. However, state-of-the-art SVD-based LLM compression methods have two key limitations: truncating smaller singular values may lead to higher compression loss, and the lack of update on the compressed weights after SVD truncation. In this work, we propose SVD-LLM, a SVD-based post-training LLM compression method that addresses the limitations of existing methods. SVD-LLM incorporates a truncation-aware data whitening technique to ensure a direct mapping between singular values and compression loss. Moreover, SVD-LLM adopts a parameter update with sequential low-rank approximation to compensate for the accuracy degradation after SVD compression. We evaluate SVD-LLM on 10 datasets and seven models from three different LLM families at three different scales. Our results demonstrate the superiority of SVD-LLM over state-of-the-arts, especially at high model compression ratios. Our code is available at https://github.com/AIoT-MLSys-Lab/SVD-LLM