Transporting Quantiles to Codebook: Scalable Vector Quantization without Codebook Collapse

📄 arXiv: 2610.34828v1 📥 PDF

作者: Yuwei Zeng, Zekun Shi

分类: cs.LG

发布日期: 2026-10-26

💡 一句话要点

提出FlowVQ以解决向量量化中的代码本崩溃问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱四：生成式动作 (Generative Motion)

关键词: 向量量化 生成模型 离散表示学习 流匹配模型 代码本崩溃 图像生成 聚类过程

📋 核心要点

  1. 现有的VQ-VAE方法在离散表示学习中存在代码本崩溃和低效利用的问题，影响生成模型的性能。
  2. 本文提出FlowVQ，通过将神经量化视为联合建模和聚类过程，利用流匹配模型学习潜在空间，解决了代码本崩溃问题。
  3. 实验结果表明，FlowVQ在图像标记和生成任务中表现出更好的可扩展性和代码本的充分利用，提升了生成质量。

📝 摘要（中文）

有效的离散表示学习在现代自回归生成模型中扮演着基础角色。然而，现有的VQ-VAE方法普遍面临代码本崩溃和代码利用效率低下的问题。为了解决这一问题，本文提出了FlowVQ，这是一种简单而有效的向量量化替代方案，通过将神经量化形式化为联合建模和聚类过程来实现。具体而言，我们在训练过程中使用轻量级流匹配模型学习潜在空间，形成一个概率流ODE，能够在保持概率质量的同时传输固定的良好源分布。基于此，我们通过学习的流将源空间中的均匀分位数划分的先验代码传输到代码本C_1，并在诱导分布下获得Voronoi质心，从而实现结构化离散化。我们在图像标记和生成以及两个需要高精度标记的任务上进行了评估，展示了代码本的可扩展性和改进的表达能力。

🔬 方法详解

问题定义：本文旨在解决现有VQ-VAE方法中的代码本崩溃和低效利用问题，这导致生成模型性能下降。

核心思路：FlowVQ通过将神经量化视为联合建模和聚类过程，利用流匹配模型在训练过程中学习潜在空间，从而有效地传输源分布的概率质量。

技术框架：整体架构包括流匹配模型和代码本生成模块。流匹配模型用于学习潜在空间，而代码本生成模块则通过传输均匀分位数划分的先验代码生成新的代码本。

关键创新：FlowVQ的创新在于将量化过程与流模型结合，形成了一种新的结构化离散化方法，与传统的向量量化方法相比，避免了代码本崩溃现象。

关键设计：在设计中，采用轻量级流匹配模型，定义损失函数以保持概率质量，并通过Voronoi质心生成新的代码本，确保代码的充分利用和表达能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，FlowVQ在图像标记和生成任务中显著提高了代码本的可扩展性和表达能力，相较于传统方法，代码本利用率提升了XX%，生成质量提高了YY%。

🎯 应用场景

该研究具有广泛的应用潜力，尤其在图像生成、自然语言处理和其他需要高效离散表示的领域。FlowVQ的设计可以为生成模型提供更强的表达能力，推动相关技术的发展，提升生成质量和效率。

📄 摘要（原文）

Effective discrete representation learning with VQ-VAE serves as a fundamental component of modern autoregressive generative models. However, it is widely known to suffer from codebook collapse and inefficient code utilization. To address this issue, we propose FlowVQ, a simple yet effective alternative to standard vector quantization by formulating neural quantization as a joint modeling and clustering process. Specifically, we learn the latent space using a lightweight flow matching model alongside training, corresponding to a probability flow ODE that transports an often fixed well-behaved source distribution while preserving probability mass. Based on this, we define the codebook C_1 by transporting even-quantile partitioned prior codes C_0 from the source space through the learned flow, and obtaining the Voronoi centroids under the induced distribution, leading to a structured discretization. We evaluated on image tokenization and generation, as well as on two tasks requiring high-precision tokenization, demonstrating scalability and improved expressivity of the codebook with full utilization.