An empirical study of LLaMA3 quantization: from LLMs to MLLMs

📄 arXiv: 2404.14047v3 📥 PDF

作者: Wei Huang, Xingyu Zheng, Xudong Ma, Haotong Qin, Chengtao Lv, Hong Chen, Jie Luo, Xiaojuan Qi, Xianglong Liu, Michele Magno

分类: cs.LG

发布日期: 2024-04-22 (更新: 2025-01-13)

DOI: 10.1007/s44267-024-00070-x

🔗 代码/项目: GITHUB | HUGGINGFACE

💡 一句话要点

研究LLaMA3量化以解决低比特宽度下性能下降问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 量化技术 大型语言模型 多模态学习 性能评估 低比特宽度

📋 核心要点

  1. 现有的低比特量化方法在压缩大型语言模型时，往往导致性能显著下降，尤其是在语言和视觉任务中。
  2. 本文通过评估LLaMA3在1-8比特量化下的表现，探索其在低比特宽度下的能力，提出了系统的实验评估方法。
  3. 实验结果表明，LLaMA3在超低比特宽度下仍存在显著的性能下降，强调了未来研究需解决的关键问题。

📝 摘要（中文）

LLaMA系列模型是强大的开源大型语言模型（LLMs），在多模态大型语言模型（MLLMs）中广泛应用。本文探讨了LLaMA3在低比特宽度量化下的能力，评估了10种后训练量化和LoRA微调方法在1-8比特下的表现。实验结果显示，LLaMA3在语言和视觉上下文中存在显著的性能下降，尤其是在超低比特宽度下。此研究为未来模型的开发提供了重要的见解，旨在提高低比特量化的准确性和实用性。

🔬 方法详解

问题定义：本文旨在解决LLaMA3在低比特宽度量化时性能下降的问题。现有的量化方法在压缩大型语言模型时，通常会导致模型在语言和视觉任务中的表现显著下降。

核心思路：通过对LLaMA3进行系统的后训练量化和LoRA微调，评估其在1-8比特下的性能，探索低比特量化对模型能力的影响。

技术框架：研究采用了10种后训练量化方法和LoRA微调技术，针对不同比特宽度进行全面评估，使用多种数据集进行实验。

关键创新：本文的创新在于系统性地评估了LLaMA3在低比特量化下的表现，揭示了超低比特宽度下的性能下降问题，为未来模型的优化提供了重要参考。

关键设计：在实验中，采用了多种量化策略和微调方法，重点关注了量化后的模型在语言和视觉任务中的表现，特别是在2-4比特的超低宽度下的评估。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，LLaMA3在超低比特宽度下的性能下降显著，尤其在语言和视觉任务中，强调了在量化过程中需关注的关键问题。具体而言，LLaMA3在2-4比特下的表现与高比特宽度相比存在明显差距，提示未来研究需致力于解决这一挑战。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、计算机视觉和多模态学习等。通过提高低比特量化模型的准确性，能够在资源受限的环境中实现更高效的模型部署，推动实际应用的发展。

📄 摘要（原文）

The LLaMA family, a collection of foundation language models ranging from 7B to 65B parameters, has become one of the most powerful open-source large language models (LLMs) and the popular LLM backbone of multi-modal large language models (MLLMs), widely used in computer vision and natural language understanding tasks. In particular, LLaMA3 models have recently been released and have achieved impressive performance in various domains with super-large scale pre-training on over 15T tokens of data. Given the wide application of low-bit quantization for LLMs in resource-constrained scenarios, we explore LLaMA3's capabilities when quantized to low bit-width. This exploration can potentially provide new insights and challenges for the low-bit quantization of LLaMA3 and other future LLMs, especially in addressing performance degradation issues that suffer in LLM compression. Specifically, we comprehensively evaluate the 10 existing post-training quantization and LoRA fine-tuning (LoRA-FT) methods of LLaMA3 on 1-8 bits and various datasets to reveal the low-bit quantization performance of LLaMA3. To uncover the capabilities of low-bit quantized MLLM, we assessed the performance of the LLaMA3-based LLaVA-Next-8B model under 2-4 ultra-low bits with post-training quantization methods. Our experimental results indicate that LLaMA3 still suffers from non-negligible degradation in linguistic and visual contexts, particularly under ultra-low bit widths. This highlights the significant performance gap at low bit-width that needs to be addressed in future developments. We expect that this empirical study will prove valuable in advancing future models, driving LLMs and MLLMs to achieve higher accuracy at lower bit to enhance practicality. Our project is released on https://github.com/Macaronlin/LLaMA3-Quantization , and quantized models are released at https://huggingface.co/Efficient-ML .