BitDelta: Your Fine-Tune May Only Be Worth One Bit

📄 arXiv: 2402.10193v3 📥 PDF

作者: James Liu, Guangxuan Xiao, Kai Li, Jason D. Lee, Song Han, Tri Dao, Tianle Cai

分类: cs.LG, cs.CL

发布日期: 2024-02-15 (更新: 2024-10-13)

备注: NeurIPS 2024 acceptance

💡 一句话要点

提出BitDelta以降低微调模型的存储需求

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 微调 量化技术 存储优化 多租户服务

📋 核心要点

  1. 现有的微调方法在信息冗余和存储效率方面存在挑战，导致资源浪费。
  2. 论文提出的BitDelta方法通过量化微调增量至1位，显著提高存储效率。
  3. 实验结果表明，BitDelta在70B参数模型上实现了超过10倍的内存节省，且性能损失极小。

📝 摘要（中文）

大型语言模型（LLMs）通常经历预训练和微调两个阶段。由于预训练的计算需求较高，微调所增加的信息被认为较少，因此更具压缩性。本文提出了一种方法BitDelta，通过将微调模型的权重分解为预训练组件和额外的增量，成功将该增量量化至1位而不影响性能。这一发现不仅揭示了微调过程中信息的冗余性，还对多租户服务和存储微调模型具有重要意义。通过使用单一高精度基础模型和多个1位增量，BitDelta显著降低了GPU内存需求超过10倍，并在多租户环境中提升了生成延迟。实验验证了BitDelta在Llama-2和Mistral模型系列上的有效性，且在所有测试设置中性能下降最小。

🔬 方法详解

问题定义：本文旨在解决微调模型在存储和计算资源上的高需求，现有方法未能有效利用微调过程中信息的冗余性，导致资源浪费。

核心思路：BitDelta通过将微调模型的权重分解为预训练部分和增量部分，利用量化技术将增量压缩至1位，从而减少存储需求，同时保持模型性能。

技术框架：整体架构包括预训练模型的基础部分和微调后的增量部分。首先进行预训练，然后在特定任务上微调，最后通过BitDelta方法对增量进行量化。

关键创新：最重要的创新在于将微调增量压缩至1位，这在保持模型性能的同时，显著降低了内存需求，与传统的微调方法形成鲜明对比。

关键设计：在技术细节上，BitDelta采用了特定的量化算法和损失函数，以确保在压缩过程中尽量减少性能损失，同时优化了模型的存储结构。通过实验验证了该设计的有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，BitDelta在Llama-2和Mistral模型系列上实现了超过10倍的内存节省，且在70B参数模型上性能损失极小，验证了其在多租户设置中的有效性和实用性。

🎯 应用场景

BitDelta的研究成果在多租户环境中具有广泛的应用潜力，尤其是在云计算和边缘计算场景中。通过减少微调模型的存储需求，能够有效降低运营成本，并提升模型的响应速度，适用于实时生成和大规模部署的任务。

📄 摘要（原文）

Large Language Models (LLMs) are typically trained in two phases: pre-training on large internet-scale datasets, and fine-tuning for downstream tasks. Given the higher computational demand of pre-training, it's intuitive to assume that fine-tuning adds less new information to the model, and is thus more compressible. We explore this assumption by decomposing the weights of fine-tuned models into their pre-trained components and an additional delta. We introduce a simple method, BitDelta, which successfully quantizes this delta down to 1 bit without compromising performance. This interesting finding not only highlights the potential redundancy of information added during fine-tuning, but also has significant implications for the multi-tenant serving and multi-tenant storage of fine-tuned models. By enabling the use of a single high-precision base model accompanied by multiple 1-bit deltas, BitDelta dramatically reduces GPU memory requirements by more than 10x, which can also be translated to enhanced generation latency in multi-tenant settings. We validate BitDelta through experiments across Llama-2 and Mistral model families, and on models up to 70B parameters, showcasing minimal performance degradation over all tested settings.