Trainable Vector Quantization for Large Language Models

📄 arXiv: 2610.41822v1 📥 PDF

作者: Anastasiia Prutianova, Alina Bogdanova, Mikhail Shutov, Dmitrii Poimanov, Anatoly Gorkov, Ilia Zharikov

分类: cs.LG

发布日期: 2026-10-30

备注: ECML PKDD 2026, Research Track

期刊: Machine Learning and Knowledge Discovery in Databases. Research Track. ECML PKDD 2026. Lecture Notes in Computer Science, vol 16944, pp 245-259. Springer, Cham

DOI: 10.1007/978-3-032-37667-1_15

💡 一句话要点

提出可训练向量量化方法以优化大语言模型压缩

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 向量量化 大语言模型 模型压缩 知识蒸馏 梯度下降 PyTorch实现 低比特量化

📋 核心要点

  1. 现有向量量化方法在极端压缩时导致模型性能下降，且难以恢复，限制了其应用。
  2. 本文提出的TVQ方法通过直通估计实现了向量量化模型的梯度下降优化，克服了传统方法的局限性。
  3. 实验结果显示，TVQ在LLaMA2-70B模型上实现了近无损的2比特量化，仅有1%的准确率下降，表现优异。

📝 摘要（中文）

向量量化（VQ）是一种快速发展的技术，用于压缩大语言模型（LLM）的权重，降低内存使用并加速推理。然而，极端压缩会导致模型性能下降，且由于VQ参数的离散性，恢复性能具有挑战性。现有方法采用无训练的方法，局限于逐层重建损失最小化。为了解决这一限制，本文提出了TVQ，一种新颖的方法，通过直通估计实现基于梯度下降的向量量化LLM优化。通过重新构造VQ LLM优化，TVQ实现了任意目标的最小化。实验表明，TVQ与现代VQ方案兼容，在低比特后训练量化设置中实现了最先进的质量。

🔬 方法详解

问题定义：本文旨在解决现有向量量化方法在极端压缩下导致模型性能下降的问题。现有方法多采用无训练的方式，难以有效恢复性能。

核心思路：TVQ方法通过引入可训练的潜在权重，利用直通估计实现了基于梯度下降的优化，从而能够最小化任意目标函数，提升了模型的压缩效果和性能。

技术框架：TVQ的整体架构包括向量量化模块和基于知识蒸馏的训练流程。通过块级知识蒸馏，平衡了模型质量与训练效率。

关键创新：TVQ的主要创新在于引入了可训练的向量量化权重，使得模型优化过程能够通过梯度下降进行，突破了传统方法的限制。

关键设计：在设计中，TVQ采用了特定的损失函数以优化量化效果，并在PyTorch框架下实现了简洁的代码结构，便于实际应用。通过合理的参数设置，确保了训练过程的高效性。

📊 实验亮点

实验结果表明，TVQ在LLaMA2-70B模型上实现了近无损的2比特量化，准确率仅下降1%。这一表现超越了现有的量化方法，展示了其在低比特后训练量化设置中的优越性。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、对话系统和机器翻译等。通过优化大语言模型的压缩，TVQ方法能够在资源受限的环境中实现高效推理，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Vector Quantization (VQ) is a rapidly evolving technique for compressing Large Language Model (LLM) weights, reducing memory usage, and speeding up inference. However, extreme compression deteriorates model performance, which is challenging to recover due to the discrete nature of VQ parameters. Existing methods employ training-free approaches that are limited to layer-wise reconstruction loss minimization. To address this limitation, we propose TVQ, a novel method that leverages straight-through estimation to enable gradient descent-based optimization of vector-quantized LLMs. By reformulating VQ LLM optimization with trainable latent weights, TVQ enables arbitrary objective minimization. We constitute our approach by applying TVQ in a block-wise knowledge distillation paradigm, which balances quality and training efficiency, and propose several practical solutions to accelerate training. In experiments on modern LLMs, we demonstrate that TVQ is compatible with modern VQ schemes. As a result, TVQ achieves state-of-the-art quality in low-bit post-training quantization settings with a modest training budget and straightforward PyTorch implementation. For instance, TVQ achieves near-lossless 2-bit quantization for LLaMA2-70B with only 1% accuracy drop on popular Question-Answering benchmarks.