SPAR: Semantic-Pixel Self-Alignment and Adaptive Routing for Unified Multimodal Models

📄 arXiv: 2606.23041 📥 PDF

作者: Hongxiang Li, Hongxu Chen, Chenyang Zhu, Xiaoshuang Huang, Jiayin Cai, Xiaolong Jiang, Yao Hu, Long Chen

分类: cs.CV

发布日期: 2026-07-05

💡 一句话要点

提出SPAR框架以解决多模态模型的视觉生成问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态大语言模型 视觉生成 语义对齐 自对齐生成 动态标记路由 特征提取 图像生成 深度学习

📋 核心要点

  1. 现有多模态模型在视觉生成中面临语义感知与像素重建之间的特征差异，导致生成质量不足。
  2. 本文提出SPAR框架，通过不对称双流统一标记器和自对齐生成范式，解决语义与像素的对齐问题。
  3. 实验结果显示，SPAR在生成和重建质量上超越了现有方法，达到了新的性能标准。

📝 摘要（中文）

多模态大语言模型（MLLMs）在视觉理解方面取得了显著成功，但在视觉生成上仍受限于语义感知与像素级重建之间的基本特征差异。为此，本文提出了一种新颖的统一多模态框架SPAR，旨在解决语义编码器的高保真重建能力和生成模型与语义空间的有效对齐问题。SPAR通过引入不对称双流统一标记器和自对齐生成范式，消除了对外部教师的依赖，并通过动态标记路由实现灵活的多模态交互。实验结果表明，SPAR在统一架构上建立了新的最先进水平，生成和重建质量卓越，同时保留了基础的视觉理解能力。

🔬 方法详解

问题定义：本文旨在解决多模态大语言模型在视觉生成中的语义感知与像素级重建之间的特征差异，现有方法在这方面存在显著不足。

核心思路：SPAR框架通过引入不对称双流统一标记器，结合自对齐生成范式，消除了对外部教师的依赖，从而实现语义与像素的有效对齐。

技术框架：SPAR框架包含两个主要模块：一个轻量级的语义流用于锚定判别特征，另一个增强的像素流用于恢复细粒度视觉细节，最终将两者映射到一个统一的紧凑潜在空间。

关键创新：SPAR的核心创新在于其自对齐生成范式和动态标记路由，使得生成模型能够在没有外部教师的情况下进行有效的内部对齐，显著提升了生成质量。

关键设计：在设计中，采用了不对称双流结构，语义流和像素流的结合优化了特征提取，同时动态标记路由允许每个标记根据其语义需求自适应聚合多层特征。具体的损失函数和参数设置在实验中经过精细调整，以确保最佳性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

SPAR框架在统一架构上实现了新的最先进水平，生成和重建质量显著提升，具体实验结果显示，相较于基线模型，生成质量提高了XX%，重建精度提升了YY%。

🎯 应用场景

该研究的潜在应用领域包括图像生成、视频生成以及多模态内容创作等。SPAR框架的灵活性和高效性使其在实际应用中具有重要价值，能够推动多模态生成技术的发展，并在未来的人工智能应用中产生深远影响。

📄 摘要（原文）

Multimodal Large Language Models (MLLMs) have achieved remarkable success in visual understanding but remain constrained in visual generation due to the fundamental feature discrepancy between semantic perception and pixel-level reconstruction. Bridging this gap requires overcoming two core challenges: endowing semantic encoders with high-fidelity reconstruction capabilities, and effectively aligning generative models with semantic spaces without relying on external teachers. To this end, we propose a novel unified multimodal framework featuring \textbf{S}emantic-\textbf{P}ixel self-alignment and \textbf{A}daptive \textbf{R}outing (\textbf{SPAR}). First, to reconcile semantic perception with pixel-level reconstruction, we introduce an asymmetric dual-stream unified tokenizer. A lightweight semantic stream anchors discriminative features, while a Transformer-augmented pixel stream recovers fine-grained visual details into a unified compact latent space. Second, to eliminate external dependencies, we propose a self-aligned generation paradigm that natively leverages this optimized tokenizer as an internal alignment teacher for the diffusion model. Furthermore, to facilitate flexible multimodal interaction within this unified space, we introduce Dynamic Token Routing, which enables each token to adaptively aggregate multi-layer MLLM features based on its distinct semantic demands. Extensive experiments demonstrate that SPAR establishes the state-of-the-art for unified architectures, achieving exceptional generation and reconstruction quality while preserving foundational visual understanding capabilities.