Unified Multimodal Autoregressive Modeling with Shared Context-Visual Tokenizer is Key to Unification

📄 arXiv: 2606.18249v1 📥 PDF

作者: Wujian Peng, Lingchen Meng, Yuxuan Cai, Xianwei Zhuang, Yuhuan Yang, Rongyao Fang, Chenfei Wu, Junyang Lin, Zuxuan Wu, Shuai Bai

分类: cs.CV

发布日期: 2026-06-16

备注: Accepted by ICML2026. Project page https://sharelab-sii.github.io/uniar-web

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出UniAR以解决多模态建模中视觉表示分离问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态建模 自回归模型 视觉理解 图像生成 图像编辑 深度学习 视觉编码器

📋 核心要点

  1. 现有多模态建模方法通常依赖于两个不同的视觉标记器，导致表示空间分割，影响模型的统一性。
  2. UniAR提出了一个统一的自回归框架，使用单一的离散视觉标记器作为理解与生成的桥梁，简化了模型的上下文处理。
  3. 通过大规模预训练和强化学习，UniAR在图像生成和编辑任务上达到了最先进的性能，且在多模态理解基准上表现优异。

📝 摘要（中文）

统一多模态建模旨在将视觉理解与生成整合到一个系统中。然而，现有方法通常依赖于两个不同的视觉标记器，这分割了表示空间，阻碍了真正的统一建模。我们提出了UniAR，一个统一的自回归框架，其中单一的离散视觉标记器作为理解与生成之间的关键桥梁，使模型能够在共享上下文中直接解释自身生成的视觉标记，而无需额外的重新编码。UniAR适配了一个预训练的视觉编码器，采用多层特征融合和无查找的位量化方案，既保留了高层语义又保留了低层细节，同时以最小的成本扩展有效的视觉词汇。基于此，统一自回归模型采用并行位预测，联合预测空间分组的多层视觉编码，显著减少视觉序列长度并加速生成。最后，基于扩散的视觉解码器在离散视觉标记上操作，以解码高保真图像。通过大规模预训练，随后进行监督微调和强化学习，UniAR在图像生成和编辑上实现了最先进的性能，同时在多模态理解基准上保持竞争力。

🔬 方法详解

问题定义：论文要解决的具体问题是现有多模态建模方法中视觉表示的分离，导致模型在理解与生成之间缺乏统一性。现有方法通常使用两个不同的视觉标记器，造成表示空间的割裂，限制了模型的整体性能。

核心思路：论文的核心解决思路是提出UniAR，一个统一的自回归框架，利用单一的离散视觉标记器作为理解与生成之间的桥梁。这样设计的目的是为了在共享上下文中直接解释生成的视觉标记，避免了额外的重新编码过程，从而提高了模型的效率和一致性。

技术框架：UniAR的整体架构包括多个主要模块：首先是一个预训练的视觉编码器，采用多层特征融合和无查找的位量化方案；其次是统一自回归模型，使用并行位预测技术；最后是基于扩散的视觉解码器，负责将离散视觉标记解码为高保真图像。

关键创新：UniAR的最重要技术创新在于使用单一的离散视觉标记器，这与现有方法的双标记器设计形成鲜明对比。通过这种设计，UniAR能够在理解与生成之间实现真正的统一，显著提升了模型的性能。

关键设计：在技术细节方面，UniAR采用了多层特征融合以保留高层语义和低层细节，同时使用无查找的位量化方案来扩展视觉词汇。此外，模型的损失函数和网络结构经过精心设计，以支持并行位预测和高效的图像解码过程。

📊 实验亮点

在实验中，UniAR在图像生成和编辑任务上达到了最先进的性能，超越了现有的基线模型。具体而言，UniAR在多个多模态理解基准上表现出色，展示了其在视觉任务中的强大能力和灵活性。

🎯 应用场景

该研究的潜在应用领域包括图像生成、图像编辑以及多模态理解等。UniAR的统一框架能够在这些任务中提供更高的效率和一致性，具有重要的实际价值。未来，随着技术的进一步发展，UniAR可能会在更广泛的视觉任务中发挥重要作用，推动多模态人工智能的发展。

📄 摘要（原文）

Unified Multimodal Modeling aims to integrate visual understanding and generation within a single system. However, existing approaches typically rely on two disparate visual tokenizers, which splits the representation space and hinders truly unified modeling. We propose UniAR, a unified autoregressive framework where a single discrete visual tokenizer serves as the key bridge between understanding and generation, enabling a shared context in which the model can directly interpret its own generated visual tokens without additional re-encoding. UniAR adapts a pretrained vision encoder with multi-level feature fusion and a lookup-free bitwise quantization scheme, preserving both high-level semantics and low-level details while scaling the effective visual vocabulary at minimal cost. Building on this, the unified autoregressive model adopts parallel-bitwise-prediction to jointly predict spatially grouped, multi-level visual codes, substantially reducing visual sequence length and accelerating generation. Finally, a diffusion-based visual decoder operates on discrete visual tokens to decode high-fidelity images. Through large-scale pre-training, followed by supervised fine-tuning and reinforcement learning, UniAR achieves state-of-the-art performance on image generation and image editing while remaining competitive on multimodal understanding benchmarks. The project page is available at https://sharelab-sii.github.io/uniar-web.