Can Discrete Tokens Serve as Semantically Lossless Representations of Visual Signals?
作者: Jialv Zou, Xiaotong Li, Zhengrong Yue, Xu Huang, Yaxin Luo, Wenhao Yan, Haodong Li, Wenyu Liu, Xinggang Wang
分类: cs.CV
发布日期: 2026-10-27
备注: Project page: https://doctor-james.github.io/FVQ-Page/
🔗 代码/项目: GITHUB
💡 一句话要点
提出因子化向量量化以提升离散视觉表示的语义保真度
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 离散视觉表示 因子化向量量化 多模态理解 量化误差 语义保真度 计算机视觉 自然语言处理
📋 核心要点
- 现有的离散视觉表示方法普遍认为量化误差会导致语义损失，限制了其在多模态理解中的应用。
- 论文提出因子化向量量化，通过量化互补的固定维度视图，提升了离散视觉表示的语义保真度。
- 在实验中，模型在多个基准上超越了现有的离散表示模型，显示出与连续表示模型的竞争力。
📝 摘要（中文）
离散视觉标记以类似语言的形式表示视觉信息，提供了多模态建模的原生接口。然而，量化误差被普遍认为会导致不可避免的语义损失，限制了离散视觉标记的语义保真度。本文重新审视这一假设，发现量化误差并不可靠，且离散表示在更大的误差下仍能实现更好的理解。我们提出因子化向量量化，通过对视觉特征的互补固定维度视图进行量化，显著提升了下游任务的性能。我们的模型在工业规模的多模态数据上训练，达到了离散表示模型的最新性能，超越了UniAR和Emu3-Chat，首次在细粒度OCR任务上与强大的连续表示模型竞争。
🔬 方法详解
问题定义：本文旨在解决离散视觉标记在多模态理解中因量化误差导致的语义损失问题。现有方法在量化过程中容易饱和，导致额外的代码本对语义信息贡献逐渐减少。
核心思路：提出因子化向量量化，通过对视觉特征的互补视图进行量化，利用对称并行的代码本来提升语义保真度。这种设计旨在最大化有效比特预算的使用，避免量化误差的负面影响。
技术框架：整体架构包括多个模块，首先提取视觉特征，然后通过因子化向量量化模块进行量化，最后将量化结果用于下游多模态任务的理解。
关键创新：因子化向量量化是本文的核心创新点，它通过量化互补视图而非单一视图，显著提升了离散表示的语义理解能力。这与传统的量化方法本质上不同，后者往往依赖于单一视图的量化。
关键设计：在模型设计中，采用了对称并行的代码本，设置了适当的比特预算，并使用了针对多模态任务优化的损失函数，以确保量化过程中的信息保留。
🖼️ 关键图片
📊 实验亮点
实验结果显示，提出的模型在九项指标的平均上超越了UniAR和Emu3-Chat，提升幅度分别为22.8%和59.2%。此外，该模型在细粒度OCR任务上首次与强大的连续表示模型Qwen3-VL竞争，展现出良好的性能。
🎯 应用场景
该研究的潜在应用领域包括计算机视觉、自然语言处理和多模态学习等。通过提升离散视觉表示的语义保真度，能够在大规模多模态基础模型中实现更高效的理解和生成，推动智能系统的进一步发展。
📄 摘要（原文）
Discrete visual tokens represent vision in a discrete form analogous to language, offering a native interface for multimodal modeling under a shared next-token prediction objective. However, quantization error is widely assumed to cause unavoidable semantic loss, fundamentally limiting the semantic fidelity of discrete visual tokens and positioning continuous visual representations as an intrinsic upper bound. Using multimodal understanding as a proxy for semantic fidelity, we revisit this assumption and find quantization error unreliable, as discrete representations with substantially larger errors can achieve better understanding. Instead, the effective bit budget of discrete indices emerges as a key determinant of downstream performance. However, existing quantizers eventually saturate as additional codebooks contribute progressively less semantic information. As one approach to alleviating this saturation, we introduce Factorized Vector Quantization, which quantizes complementary, fixed-dimensional views of the visual feature with symmetric parallel codebooks. It continues to improve at larger bit budgets, ultimately matching continuous visual representations in multimodal understanding. Trained on industrial-scale multimodal data, our model achieves state-of-the-art performance among discrete-representation models, outperforming UniAR and Emu3-Chat by 22.8% and 59.2%, respectively, on a nine-metric average. To our knowledge, it is also the first discrete-representation model competitive with strong continuous-representation models such as Qwen3-VL, including on fine-grained OCR tasks. We further identify the key principles and a practical recipe enabling this competitiveness. These results and insights support the potential of discrete visual representations to underpin large-scale native multimodal foundation models. Code and models are available at https://github.com/hustvl/FVQ