SmoothRot: Combining Channel-Wise Scaling and Rotation for Quantization-Friendly LLMs

📄 arXiv: 2506.05413v2 📥 PDF

作者: Patrik Czakó, Gábor Kertész, Sándor Szénási

分类: cs.CL, cs.AI, cs.LG

发布日期: 2025-06-04 (更新: 2025-07-29)

备注: 6 pages, 3 figures, 5 tables. Accepted to IEEE SMC 2025 conference proceedings

🔗 代码/项目: GITHUB

💡 一句话要点

提出SmoothRot以解决大语言模型量化中的激活异常问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 后训练量化 大语言模型 激活异常值 通道级缩放 Hadamard变换 量化精度 模型优化

📋 核心要点

  1. 现有的量化方法在处理大语言模型时，常常面临激活异常值过多的问题，导致量化精度下降。
  2. SmoothRot通过结合通道级缩放和Hadamard变换，旨在将极端异常值转化为适合量化的激活，从而提升量化效果。
  3. 实验结果表明，SmoothRot在多个流行的LLMs上有效减少了量化与FP16模型之间的性能差距，提升幅度达到10-30%。

📝 摘要（中文）

我们提出了SmoothRot，这是一种新颖的后训练量化技术，旨在提高大语言模型（LLMs）中4位量化的效率。SmoothRot通过结合通道级缩放和Hadamard变换，解决了大量激活异常值的关键挑战。该技术有效地将极端异常值转化为适合量化的激活，显著提高了量化精度。在对流行的LLMs（如LLaMA2 7B、LLaMA3.1 8B和Mistral 7B）进行的实验中，SmoothRot在语言生成和零-shot推理任务中，始终将量化模型与FP16模型之间的性能差距减少了约10-30%，且没有引入额外的推理延迟。代码可在https://github.com/czakop/smoothrot获取。

🔬 方法详解

问题定义：本论文旨在解决大语言模型在4位量化过程中面临的激活异常值过多的问题。现有方法在处理这些异常值时，往往导致量化精度显著下降，影响模型性能。

核心思路：SmoothRot的核心思路是通过结合通道级缩放和Hadamard变换，来有效地将极端异常值转化为适合量化的激活。这种设计旨在减少激活值的分布偏差，从而提高量化的准确性。

技术框架：SmoothRot的整体架构包括两个主要模块：通道级缩放模块和Hadamard变换模块。首先，通道级缩放模块对激活进行缩放，以减小异常值的影响；然后，Hadamard变换模块进一步处理这些激活，使其更适合于量化。

关键创新：SmoothRot的主要创新在于将通道级缩放与Hadamard变换相结合，这一方法在处理激活异常值方面表现出色，显著优于传统的量化方法。

关键设计：在关键设计上，SmoothRot采用了特定的缩放因子和变换参数，以确保激活值的分布更均匀。此外，损失函数的设计也经过精心调整，以优化量化后的模型性能。通过这些设计，SmoothRot能够在不增加推理延迟的情况下，提升量化模型的效果。

📊 实验亮点

实验结果显示，SmoothRot在LLaMA2 7B、LLaMA3.1 8B和Mistral 7B等流行大语言模型上，成功将量化模型与FP16模型之间的性能差距减少了约10-30%。这一显著提升表明SmoothRot在量化友好性方面的有效性，同时没有引入额外的推理延迟，保持了模型的实时性。

🎯 应用场景

SmoothRot的研究成果在大语言模型的量化过程中具有广泛的应用潜力，尤其是在需要高效推理的场景中，如自然语言处理、对话系统和智能助手等。通过提高量化精度，SmoothRot能够帮助开发更高效的模型，降低计算资源消耗，提升用户体验。未来，该技术可能会在更多深度学习模型的量化中得到应用，推动模型在边缘设备上的部署。

📄 摘要（原文）

We present SmoothRot, a novel post-training quantization technique to enhance the efficiency of 4-bit quantization in Large Language Models (LLMs). SmoothRot addresses the critical challenge of massive activation outliers, by integrating channel-wise scaling with Hadamard transformations. Our technique effectively transforms extreme outliers into quantization-friendly activations, significantly improving quantization accuracy. Experiments conducted on popular LLMs (LLaMA2 7B, LLaMA3.1 8B, and Mistral 7B) demonstrate that SmoothRot consistently reduces the performance gap between quantized and FP16 models by approximately 10-30\% across language generation and zero-shot reasoning tasks, without introducing additional inference latency. Code is available at https://github.com/czakop/smoothrot.