Fine-Tuning Low-Bit Models with Gradient in Quantized Code Space

📄 arXiv: 2608.30908v1 📥 PDF

作者: Shiguang Wu, Zhouchen Lin, Quanming Yao

分类: cs.LG

发布日期: 2026-08-31

🔗 代码/项目: GITHUB

💡 一句话要点

提出代码替代梯度以优化低比特模型的微调

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 低比特模型 量化训练 微调技术 优化算法 深度学习

📋 核心要点

  1. 现有的低比特模型微调方法在量化过程中容易受到估计误差和后量化差距的影响，导致性能下降。
  2. 本文提出了代码替代梯度作为优化信号，并结合引导搜索方法，以提高低比特模型的微调效率和效果。
  3. 实验结果显示，GradCodes在多种任务上均显著提升了低比特模型的性能，验证了其有效性。

📝 摘要（中文）

微调低比特模型旨在在保持最终部署检查点为低比特形式的同时，适应量化模型。这一设置在实际应用中非常重要，因为它减少了存储和部署的内存及推理成本。在此约束下，适应性变成了对量化代码和尺度的优化问题。现有的连续低比特训练虽然高效，但可能受到直通估计误差或后量化差距的影响；而离散搜索虽然忠实于部署，但在有限的训练预算下通常效率较低。本文提出了代码替代梯度作为可部署代码空间中的一阶信号，以加速优化，并通过引导搜索来保持部署的忠实性。实验结果表明，GradCodes在算术推理、指令跟随和结构化语言理解等任务中，始终提升了低比特模型的微调效果。

🔬 方法详解

问题定义：本文解决的具体问题是如何在保持低比特模型的量化特性下，进行有效的微调。现有方法在量化过程中容易受到直通估计误差和后量化差距的影响，导致模型性能下降。

核心思路：论文的核心思路是引入代码替代梯度作为优化信号，以加速在量化代码空间中的优化过程。同时，通过引导搜索方法来确保模型在部署时的忠实性。这样的设计旨在兼顾效率与效果。

技术框架：整体架构包括量化模型的初始化、代码替代梯度的计算、优化过程的执行以及最终模型的评估。主要模块包括量化代码生成、梯度计算模块和优化算法。

关键创新：最重要的技术创新点在于提出了代码替代梯度这一新颖的优化信号，它与现有方法的本质区别在于能够在量化空间中有效加速优化，而不牺牲模型的部署性能。

关键设计：在关键设计方面，论文详细描述了梯度计算的具体实现、损失函数的选择以及优化算法的参数设置，确保了优化过程的高效性和稳定性。具体的网络结构和参数设置在实验部分进行了详细说明。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果表明，GradCodes在算术推理、指令跟随和结构化语言理解等任务上，相较于基线方法，性能提升幅度达到了X%至Y%。这些结果验证了所提出方法在低比特模型微调中的有效性和优越性。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、计算机视觉等需要高效模型部署的场景。通过优化低比特模型的微调过程，可以在资源受限的环境中实现更高效的推理和存储，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Fine-tuning Low-bit models aims to adapt a quantized model while keeping the final deployed checkpoint in the same low-bit form. This setting is practically important as it reduces memory and inference cost for storage and deployment. Under this constraint, adaptation becomes an optimization problem over quantization codes and scales. Existing continuous low-bit training is efficient, but it can be distorted by straight through estimation error or by post-quantize gap; discrete search is deployment-faithful, but it is often too inefficient under a finite training budget. We propose code surrogate gradient as the first order signal in deployable code space to acceleate optimization, and performing guided search to preserve deployment faithfulness. Experiments across arithmetic reasoning, instruction following, and structured language understanding show that GradCodes consistently improves fine-tuning low-bit models across different quantization datatypes. Code is provided at https://github.com/ovo67/GradCodes.