FLAT-LLM: Fine-grained Low-rank Activation Space Transformation for Large Language Model Compression

📄 arXiv: 2505.23966v3 📥 PDF

作者: Jiayi Tian, Ryan Solgi, Jinming Lu, Yifan Yang, Hai Li, Zheng Zhang

分类: cs.CL

发布日期: 2025-05-29 (更新: 2025-07-29)

💡 一句话要点

提出FLAT-LLM以解决大语言模型压缩中的效率与准确性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 模型压缩 低秩分解 激活空间 主成分分析 结构剪枝 推理速度

📋 核心要点

  1. 现有的低秩分解方法在大语言模型压缩中常面临准确性下降和校准过程昂贵的问题。
  2. FLAT-LLM通过细粒度低秩变换和贪婪预算重分配策略，实现了高效的结构压缩，且无需训练。
  3. 实验结果表明，FLAT-LLM在多个模型和数据集上表现优异，超越了传统结构剪枝方法。

📝 摘要（中文）

大语言模型（LLMs）在自然语言处理领域取得了显著进展，但其高计算和内存需求在资源受限环境中部署时面临挑战。尽管近期的低秩分解方法为结构压缩提供了有希望的路径，但常常伴随准确性下降、昂贵的校准程序，并导致低效的模型架构，妨碍实际推理速度的提升。本文提出FLAT-LLM，一种快速且准确的无训练结构压缩方法，基于激活空间中的细粒度低秩变换。具体而言，我们通过头部主成分分析计算的截断特征向量来变换权重，从而减少隐藏维度，并采用贪婪预算重分配策略在解码器之间自适应分配秩。FLAT-LLM在不进行恢复微调的情况下实现了高效的权重压缩，校准过程可在几分钟内完成。经过5个模型和11个数据集的评估，FLAT-LLM在泛化和下游性能上优于结构剪枝基线，同时在推理速度上超越基于分解的方法。

🔬 方法详解

问题定义：本文旨在解决大语言模型在资源受限环境中部署时的高计算和内存需求问题。现有的低秩分解方法虽然提供了压缩的可能性，但往往伴随准确性下降和校准过程复杂等痛点。

核心思路：FLAT-LLM的核心思路是通过激活空间中的细粒度低秩变换来实现结构压缩，具体采用头部主成分分析计算的截断特征向量来变换权重，从而有效减少隐藏维度。

技术框架：FLAT-LLM的整体架构包括两个主要模块：首先是通过主成分分析计算权重的截断特征向量，其次是采用贪婪预算重分配策略在解码器之间自适应分配秩。这一流程确保了压缩过程的高效性和准确性。

关键创新：FLAT-LLM的主要创新在于其训练-free的结构压缩方法，避免了传统方法中常见的恢复微调步骤，显著提高了压缩效率。

关键设计：在设计上，FLAT-LLM通过贪婪算法动态调整各解码器的秩分配，确保在压缩过程中保持模型性能，同时减少了校准所需的时间和资源。

📊 实验亮点

FLAT-LLM在5个模型和11个数据集上的评估结果显示，其在泛化能力和下游任务性能上均优于传统的结构剪枝基线，且在推理速度上相较于基于分解的方法有显著提升，具体提升幅度未知。

🎯 应用场景

FLAT-LLM的研究成果在多个领域具有广泛的应用潜力，尤其是在移动设备、边缘计算和其他资源受限环境中。通过有效压缩大语言模型，FLAT-LLM能够使得复杂的自然语言处理任务在低功耗设备上得以实现，推动智能助手、实时翻译等应用的发展。

📄 摘要（原文）

Large Language Models (LLMs) have enabled remarkable progress in natural language processing, yet their high computational and memory demands pose challenges for deployment in resource-constrained environments. Although recent low-rank decomposition methods offer a promising path for structural compression, they often suffer from accuracy degradation, expensive calibration procedures, and result in inefficient model architectures that hinder real-world inference speedups. In this paper, we propose FLAT-LLM, a fast and accurate, training-free structural compression method based on fine-grained low-rank transformations in the activation space. Specifically, we reduce the hidden dimension by transforming the weights using truncated eigenvectors computed via head-wise Principal Component Analysis, and employ a greedy budget redistribution strategy to adaptively allocate ranks across decoders. FLAT-LLM achieves efficient and effective weight compression without recovery fine-tuning, which could complete the calibration within a few minutes. Evaluated across 5 models and 11 datasets, FLAT-LLM outperforms structural pruning baselines in generalization and downstream performance, while delivering inference speedups over decomposition-based methods.