ViQ: Text-Aligned Visual Quantized Representations at Any Resolution

📄 arXiv: 2606.27313v1 📥 PDF

作者: Xumin Yu, Zuyan Liu, Zhenyu Yang, Yuhao Dong, Shengsheng Qian, Jiwen Lu, Han Hu, Yongming Rao

分类: cs.CV

发布日期: 2026-06-25

备注: Accepted to ECCV 2026

💡 一句话要点

提出ViQ框架以解决多模态表示中的信息损失问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态表示 视觉量化 文本对齐 特征离散化 深度学习

📋 核心要点

  1. 现有方法在离散表示中难以平衡低级细节与高级语义，导致信息损失。
  2. ViQ框架通过文本对齐的预训练和特征离散化，增强语义信息并支持原生分辨率输入。
  3. 实验结果表明，ViQ在多模态任务中表现出色，相较于基线提升20%-70%的训练效率。

📝 摘要（中文）

统一的文本与视觉表示是一个自然的追求，因为它简化了多模态建模并提高了训练效率。然而，按文本方式将图像表示为离散信号不可避免地引入了严重的信息损失。现有工作在离散表示中难以平衡低级细节与高级语义：以重建为导向的表示往往缺乏语义信息，而语义更强的特征通常会严重损失细节。我们提出了ViQ，一个视觉量化表示框架，旨在平衡离散表示中的语义与细节，同时支持原生分辨率的输入，从而使其能够作为任意视觉输入的统一和通用离散表示。通过在多模态任务上的广泛实验，ViQ在与最先进的多模态视觉编码器的比较中表现出竞争力，同时在低级重建中保持高精度。

🔬 方法详解

问题定义：本论文旨在解决在多模态表示中，图像作为离散信号表示时所引发的严重信息损失问题。现有方法在低级细节与高级语义之间难以取得平衡，导致重建效果不佳。

核心思路：ViQ框架的核心思路是通过文本对齐的预训练来增强视觉编码器的语义丰富性，并在特征离散化过程中引入位置感知的量化机制，以支持任意分辨率的输入。

技术框架：ViQ的整体架构分为两个主要阶段：文本对齐的预训练和特征离散化。在预训练阶段，利用预训练的语言模型为视觉编码器提供语义监督；在离散化阶段，采用渐进式表示学习策略来压缩特征空间。

关键创新：ViQ的主要创新在于其位置感知的头部量化机制和渐进式特征压缩策略，这使得其能够灵活处理不同分辨率的输入，并有效平衡语义与细节。

关键设计：在设计中，ViQ采用了特定的损失函数以优化语义信息的提取，并通过网络结构的调整来实现高效的特征离散化，确保在低级重建中保持高精度。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在多模态任务的实验中，ViQ相较于最先进的视觉编码器表现出竞争力，尤其在低级重建方面保持高精度。同时，ViQ的训练效率提升显著，使用不同基础大语言模型和训练方案时，速度提升可达20%-70%。

🎯 应用场景

ViQ框架在多模态学习、图像生成、视频理解等领域具有广泛的应用潜力。其高效的训练机制和精确的表示能力将推动相关技术的发展，提升多模态系统的性能和应用范围，未来可能在自动驾驶、智能监控等领域发挥重要作用。

📄 摘要（原文）

A unified representation for text and vision is a natural pursuit, as it enables simpler multimodal modeling and more efficient training. However, representing images as discrete signals in the same way as text inevitably introduces severe information loss. Existing work struggles to balance low-level details and high-level semantics in discrete representations: reconstruction-oriented representations often lack semantic information, whereas semantically stronger features typically suffer from severe loss of detail. We present ViQ, a Visual Quantized Representations framework, which is designed to balance semantics and details in discrete representations while supporting inputs at native resolutions, thereby enabling it to serve as a unified and general discrete representation for arbitrary visual inputs. Our approach structures quantization learning into two stages: text-aligned pre-training and feature discretization. With text-aligned pre-training, we enhance the visual encoder semantic-rich supervision from the pretrained language model and enable it to process native-resolution visual inputs. During discretization, we propose a proximal representation learning strategy to progressively compact the feature space, along with a position-aware head-wise quantization mechanism that enables flexible processing of arbitrary resolutions. Extensive experiments on multimodal tasks demonstrate that ViQ achieves competitive performance compared to state-of-the-art multimodal vision encoders with continuous and high-dimensional visual features, while maintaining high precision in low-level reconstruction. We also show that multimodal training with visual quantized representations largely improves efficiency, yielding up to 20\%-70\% acceleration with different base LLMs and training recipes.