Any-Precision LLM: Low-Cost Deployment of Multiple, Different-Sized LLMs

📄 arXiv: 2402.10517v4 📥 PDF

作者: Yeonhong Park, Jake Hyun, SangLyul Cho, Bonggeun Sim, Jae W. Lee

分类: cs.LG

发布日期: 2024-02-16 (更新: 2024-06-21)

备注: To appear at ICML 2024. Code is available at https://github.com/SNU-ARC/any-precision-llm

💡 一句话要点

提出Any-Precision LLM以降低多种尺寸LLM的部署成本

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 任意精度量化 后训练量化 模型压缩 资源优化

📋 核心要点

  1. 当前对多种尺寸LLM的部署成本关注不足，导致实际应用中面临高昂的资源消耗。
  2. 本文提出了一种轻量级的任意精度量化方法，结合后训练量化框架，旨在优化LLM的部署效率。
  3. 实验结果表明，支持不同位宽的LLM在模型质量和推理速度上均达到了最先进的水平，显著降低了部署成本。

📝 摘要（中文）

近年来，针对大型语言模型（LLMs）的压缩工作取得了显著进展，这些模型在多种应用中展现了突破性的能力，但由于其庞大的体积，部署成本高昂。尽管如此，针对多种尺寸LLM的部署成本降低的研究相对较少。本文提出了 extit{any-precision LLM}的概念，扩展了任意精度深度神经网络（DNN）到LLMs。我们提出了一种轻量级的任意精度量化方法，利用后训练量化框架，并开发了专门的软件引擎以实现高效服务。我们的解决方案显著降低了多种不同尺寸LLM的部署成本，支持不同位宽（如3、4、...、n位）的LLM在内存占用上与单个n位LLM相当，且所有支持的LLM在模型质量和推理吞吐量上均表现出色，证明了其在多种尺寸LLM部署中的有效性。我们的代码已开源并可在线获取。

🔬 方法详解

问题定义：本文旨在解决多种尺寸大型语言模型（LLMs）在部署时的高成本问题。现有方法往往未能有效降低不同尺寸模型的资源消耗，限制了其应用场景。

核心思路：论文提出的任意精度LLM概念，允许将不同位宽的LLM量化并叠加到一个内存占用相当于单个n位LLM的框架中，从而实现高效部署。

技术框架：整体架构包括后训练量化模块和专用软件引擎。后训练量化模块负责对LLM进行任意精度量化，而软件引擎则确保量化后的模型能够高效服务。

关键创新：最重要的技术创新在于提出了一种轻量级的任意精度量化方法，使得不同位宽的LLM能够在内存中共存并高效运行，这与传统的单一精度模型部署方法有本质区别。

关键设计：在设计中，关键参数包括量化位宽的选择、损失函数的优化以及网络结构的调整，以确保量化后的模型在性能上不逊色于原始模型。具体的参数设置和网络结构细节在论文中有详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，支持不同位宽的LLM在模型质量和推理吞吐量上均达到了最先进的水平，相较于传统方法，部署成本降低了显著幅度，具体性能数据在论文中有详细列出，证明了其在实际应用中的有效性。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、对话系统和多模态学习等。通过降低不同尺寸LLM的部署成本，能够使得更多企业和研究机构能够在资源有限的情况下，利用先进的语言模型进行创新，推动相关领域的发展。

📄 摘要（原文）

Recently, considerable efforts have been directed towards compressing Large Language Models (LLMs), which showcase groundbreaking capabilities across diverse applications but entail significant deployment costs due to their large sizes. Meanwhile, much less attention has been given to mitigating the costs associated with deploying multiple LLMs of varying sizes despite its practical significance. Thus, this paper introduces \emph{any-precision LLM}, extending the concept of any-precision DNN to LLMs. Addressing challenges in any-precision LLM, we propose a lightweight method for any-precision quantization of LLMs, leveraging a post-training quantization framework, and develop a specialized software engine for its efficient serving. As a result, our solution significantly reduces the high costs of deploying multiple, different-sized LLMs by overlaying LLMs quantized to varying bit-widths, such as 3, 4, ..., $n$ bits, into a memory footprint comparable to a single $n$-bit LLM. All the supported LLMs with varying bit-widths demonstrate state-of-the-art model quality and inference throughput, proving itself to be a compelling option for deployment of multiple, different-sized LLMs. Our code is open-sourced and available online.