Self-Supervised Quantization-Aware Knowledge Distillation

📄 arXiv: 2403.11106v1 📥 PDF

作者: Kaiqi Zhao, Ming Zhao

分类: cs.LG, cs.AI, cs.CV

发布日期: 2024-03-17

🔗 代码/项目: GITHUB

💡 一句话要点

提出自监督量化感知知识蒸馏以解决训练复杂性问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 量化感知训练 知识蒸馏 自监督学习 深度学习模型 模型压缩

📋 核心要点

  1. 现有的知识蒸馏方法在量化感知训练中面临超参数调优复杂、依赖标签数据和训练过程计算密集等挑战。
  2. 本文提出的SQAKD框架通过自监督学习，简化了训练过程，并将QAT视为共同优化问题，消除了对标签的依赖。
  3. 实验结果表明，SQAKD在多种模型架构上显著提升了性能，超越了当前最先进的QAT和KD方法。

📝 摘要（中文）

量化感知训练（QAT）与知识蒸馏（KD）结合，旨在创建低比特深度学习模型以实现竞争性能。然而，现有方法在应用KD于QAT时需要繁琐的超参数调优，假设有标签训练数据，并且需要复杂且计算密集的训练过程。为了解决这些局限性，本文提出了一种新颖的自监督量化感知知识蒸馏（SQAKD）框架。SQAKD首先统一了各种量化函数的前向和后向动态，使其灵活地结合各种QAT工作。然后，它将QAT公式化为一个共同优化问题，同时最小化全精度与低比特模型之间的KL损失和量化的离散化误差，无需标签监督。全面评估表明，SQAKD在多种模型架构上显著超越了现有的QAT和KD方法。

🔬 方法详解

问题定义：本文旨在解决现有知识蒸馏在量化感知训练中的不足，包括超参数调优复杂、依赖标签数据以及训练过程计算密集等问题。

核心思路：SQAKD框架通过自监督学习，统一了量化函数的前向和后向动态，将QAT视为共同优化问题，从而简化训练过程并消除对标签的依赖。

技术框架：SQAKD的整体架构包括两个主要模块：首先是量化函数的动态统一，其次是通过最小化KL损失和离散化误差的共同优化过程。

关键创新：SQAKD的主要创新在于将QAT与自监督学习结合，形成一种新的训练框架，显著降低了对标签的依赖，并提高了训练效率。

关键设计：在损失函数设计上，SQAKD同时考虑了KL损失和量化的离散化误差，确保了模型在低比特表示下的性能，同时采用了灵活的量化函数以适应不同的QAT方法。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，SQAKD在多种模型架构上均显著优于现有的QAT和KD方法，具体性能提升幅度达到X%（具体数据需根据实验结果补充），验证了其有效性和优越性。

🎯 应用场景

该研究的潜在应用领域包括移动设备、边缘计算和嵌入式系统等需要高效模型的场景。通过降低模型的比特数，SQAKD可以在保持性能的同时减少存储和计算资源的消耗，具有重要的实际价值和未来影响。

📄 摘要（原文）

Quantization-aware training (QAT) and Knowledge Distillation (KD) are combined to achieve competitive performance in creating low-bit deep learning models. However, existing works applying KD to QAT require tedious hyper-parameter tuning to balance the weights of different loss terms, assume the availability of labeled training data, and require complex, computationally intensive training procedures for good performance. To address these limitations, this paper proposes a novel Self-Supervised Quantization-Aware Knowledge Distillation (SQAKD) framework. SQAKD first unifies the forward and backward dynamics of various quantization functions, making it flexible for incorporating various QAT works. Then it formulates QAT as a co-optimization problem that simultaneously minimizes the KL-Loss between the full-precision and low-bit models for KD and the discretization error for quantization, without supervision from labels. A comprehensive evaluation shows that SQAKD substantially outperforms the state-of-the-art QAT and KD works for a variety of model architectures. Our code is at: https://github.com/kaiqi123/SQAKD.git.