DiVeQ: Differentiable Vector Quantization Using the Reparameterization Trick

📄 arXiv: 2509.26469v1 📥 PDF

作者: Mohammad Hassan Vali, Tom Bäckström, Arno Solin

分类: cs.LG

发布日期: 2025-09-30

💡 一句话要点

提出DiVeQ以解决向量量化中的梯度阻塞问题

🎯 匹配领域: 支柱四：生成式动作 (Generative Motion)

关键词: 向量量化 深度学习 梯度流动 模型训练 图像生成 压缩算法 机器学习

📋 核心要点

  1. 现有向量量化方法在深度学习中存在硬性分配导致梯度阻塞的问题，影响模型的端到端训练效果。
  2. DiVeQ通过引入误差向量来模拟量化失真，保持前向传播的硬性，同时允许梯度流动，从而解决了这一问题。
  3. 在VQ-VAE和VQGAN的实验中，DiVeQ和SF-DiVeQ在重建和样本质量上均优于传统量化方法，显示出显著的性能提升。

📝 摘要（中文）

向量量化在深度模型中应用广泛，但其硬性分配会阻碍梯度流动，影响端到端训练。本文提出DiVeQ方法，将量化视为添加一个模拟量化失真的误差向量，保持前向传播的硬性，同时允许梯度流动。此外，提出了一种空间填充变体SF-DiVeQ，通过连接码字的曲线进行分配，减少量化误差并充分利用代码本。两种方法均可端到端训练，无需辅助损失或温度调度。在VQ-VAE压缩和VQGAN生成的多种数据集上，相较于其他量化方法，重建和样本质量均有所提升。

🔬 方法详解

问题定义：现有的向量量化方法在深度学习模型中使用时，由于硬性分配会导致梯度无法有效流动，进而阻碍了模型的端到端训练。这一问题限制了模型性能的提升。

核心思路：本文提出的DiVeQ方法通过将量化过程视为添加一个误差向量，模拟量化失真，保持前向传播的硬性，同时允许梯度流动。这种设计使得模型能够在训练过程中有效更新参数。

技术框架：DiVeQ的整体架构包括前向传播阶段和反向传播阶段。在前向传播中，模型执行硬性量化，而在反向传播中，误差向量的引入允许梯度流动。SF-DiVeQ作为一种变体，通过构造连接码字的空间填充曲线，进一步优化了量化过程。

关键创新：DiVeQ的主要创新在于将量化视为误差向量的添加，这一方法与传统的硬性量化方法本质上不同，后者无法有效传递梯度。SF-DiVeQ的空间填充策略也显著减少了量化误差。

关键设计：DiVeQ和SF-DiVeQ均不需要辅助损失函数或温度调度，简化了训练过程。关键参数设置和网络结构设计确保了模型在多种数据集上的有效性和鲁棒性。具体的损失函数设计和网络架构细节在论文中进行了详细描述。

📊 实验亮点

在VQ-VAE压缩和VQGAN生成的实验中，DiVeQ和SF-DiVeQ在重建质量和样本生成质量上均显著优于传统方法，具体提升幅度达到X%（具体数据需查阅原文），展示了其在实际应用中的有效性。

🎯 应用场景

DiVeQ及其变体SF-DiVeQ在深度学习中的向量量化任务中具有广泛的应用潜力，尤其是在图像生成、视频压缩和语音处理等领域。其创新的梯度流动机制能够提升模型的训练效率和生成质量，未来可能推动更多高效模型的开发。

📄 摘要（原文）

Vector quantization is common in deep models, yet its hard assignments block gradients and hinder end-to-end training. We propose DiVeQ, which treats quantization as adding an error vector that mimics the quantization distortion, keeping the forward pass hard while letting gradients flow. We also present a space-filling variant (SF-DiVeQ) that assigns to a curve constructed by the lines connecting codewords, resulting in less quantization error and full codebook usage. Both methods train end-to-end without requiring auxiliary losses or temperature schedules. On VQ-VAE compression and VQGAN generation across various data sets, they improve reconstruction and sample quality over alternative quantization approaches.