Magic for the Age of Quantized DNNs

📄 arXiv: 2403.14999v1 📥 PDF

作者: Yoshihide Sawada, Ryuji Saiin, Kazuma Suetake

分类: cs.LG, cs.AI, cs.CV, cs.NE

发布日期: 2024-03-22

备注: 14 pages, 5 figures, 4 tables

💡 一句话要点

提出量化感知训练方法以解决深度神经网络推理难题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 量化感知训练 深度神经网络 模型压缩 层批归一化 激活函数量化 推理优化 边缘计算

📋 核心要点

  1. 深度神经网络的参数数量激增导致在小型计算机上进行推理的困难，现有模型压缩技术亟待改进。
  2. 提出了一种量化感知训练方法，利用层批归一化和缩放四舍五入函数进行权重和激活函数的量化。
  3. 实验结果显示，该方法在保持高准确率的同时，实现了有效的模型量化，准确性下降极小。

📝 摘要（中文）

近年来，深度神经网络（DNN）的参数数量急剧增加，尤其是大型语言模型（LLM），使得在小型计算机上进行推理变得更加困难。因此，模型压缩技术对于产品集成至关重要。本文提出了一种量化感知训练方法，介绍了一种独立于小批量大小的新型归一化方法（层批归一化），在推理过程中不需要额外的计算成本。接着，我们通过标准化的缩放四舍五入函数对权重进行量化，并使用相同的函数对激活函数进行量化，同时应用替代梯度来训练具有量化权重和量化激活函数的模型。我们称这种方法为量化深度神经网络时代的魔法（MaQD）。实验结果表明，我们的量化方法在准确性下降最小的情况下实现了有效的量化。

🔬 方法详解

问题定义：本文旨在解决深度神经网络在小型计算机上推理时面临的性能瓶颈，现有的模型压缩技术往往无法有效兼顾准确性与计算效率。

核心思路：提出了一种量化感知训练方法，通过引入层批归一化和缩放四舍五入函数，旨在实现权重和激活函数的有效量化，同时保持推理过程中的计算效率。

技术框架：整体方法包括两个主要模块：首先是量化感知训练阶段，使用层批归一化和替代梯度进行模型训练；其次是推理阶段，利用量化后的权重和激活函数进行高效推理。

关键创新：最重要的创新点在于层批归一化的引入，使得归一化过程不依赖于小批量大小，且在推理时无需额外计算，从而提升了模型的实用性。

关键设计：在权重量化中，采用标准化的缩放四舍五入函数，确保量化过程的稳定性；同时，激活函数也使用相同的量化策略，保证了模型训练的一致性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，所提出的量化方法在多个基准测试中表现出色，准确性下降幅度极小，且在推理速度上有显著提升。与传统方法相比，MaQD在保持相似准确率的同时，减少了计算资源的消耗，展现了良好的实用性。

🎯 应用场景

该研究的潜在应用领域包括边缘计算、移动设备和嵌入式系统等对计算资源要求严格的场景。通过有效的模型量化，能够在保持高准确率的前提下，显著降低计算和存储需求，推动深度学习技术在实际产品中的应用。未来，该方法可能会影响更多领域的模型优化与部署。

📄 摘要（原文）

Recently, the number of parameters in DNNs has explosively increased, as exemplified by LLMs (Large Language Models), making inference on small-scale computers more difficult. Model compression technology is, therefore, essential for integration into products. In this paper, we propose a method of quantization-aware training. We introduce a novel normalization (Layer-Batch Normalization) that is independent of the mini-batch size and does not require any additional computation cost during inference. Then, we quantize the weights by the scaled round-clip function with the weight standardization. We also quantize activation functions using the same function and apply surrogate gradients to train the model with both quantized weights and the quantized activation functions. We call this method Magic for the age of Quantised DNNs (MaQD). Experimental results show that our quantization method can be achieved with minimal accuracy degradation.