Generation as Auxiliary Supervision: Enhancing Visual Understanding at Zero Inference Overhead via Decoupled Embedding Prediction

📄 arXiv: 2608.12209v1 📥 PDF

作者: Zhongbin Guo, Jiahao Xie, Dongling Xiao, Qianle Wang, Ruiqi Lu, Xiaomin He, Wanxuan Sun, Cheng Yang

分类: cs.CV

发布日期: 2026-08-12

💡 一句话要点

提出GAS框架以解决多模态理解与生成目标不一致问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态大型语言模型 视觉理解 生成引导训练 解耦变换器 下一嵌入预测 空间理解 辅助监督 深度认知基础

📋 核心要点

  1. 现有多模态大型语言模型在视觉理解与生成的目标上存在不一致，导致性能提升困难。
  2. GAS框架通过将视觉生成视为辅助监督，采用下一嵌入预测和解耦的混合变换器架构来增强表示学习。
  3. GAS在多个模型规模和训练阶段均提升了多模态理解，尤其在感知和空间理解方面表现突出。

📝 摘要（中文）

尽管多模态大型语言模型（MLLMs）取得了显著进展，视觉理解与生成通常被视为不同的目标。现有统一框架依赖于离散视觉标记或扩散目标，其生成目标与视觉理解模型所需的连续表示不同，导致直接转移以增强现有预训练MLLMs变得复杂。本文提出GAS，一个生成引导的训练框架，将视觉生成重新解释为表示学习的辅助监督。GAS在解耦的混合变换器架构中适应了下一嵌入预测（NEP）作为跨模态生成范式，通过共享下部结构和并行上层，GAS使生成损失丰富共享视觉路径，同时保护上层理解层免受直接生成梯度的影响。实验表明，GAS在感知和空间理解方面的提升最为显著，且由于辅助生成分支在训练后被丢弃，因此不会增加推理开销。

🔬 方法详解

问题定义：本文旨在解决多模态大型语言模型在视觉理解与生成目标不一致的问题。现有方法依赖于离散视觉标记或扩散目标，导致生成与理解之间的直接转移变得复杂。

核心思路：GAS框架将视觉生成视为辅助监督，通过生成引导的训练来增强表示学习。该方法设计了深度认知基础的高度相关生成任务，以提升模型的理解能力。

技术框架：GAS采用解耦的混合变换器架构，包含共享的下部结构和并行的上层。生成损失通过共享视觉路径进行传播，而上层理解层则不受直接生成梯度的影响。

关键创新：GAS的主要创新在于将生成任务与理解任务相结合，利用生成引导的训练来提升多模态理解能力。这一方法与传统的生成和理解分离的方式有本质区别。

关键设计：GAS框架中的关键设计包括下一嵌入预测（NEP）作为跨模态生成范式，以及通过构建深度认知基础的生成任务来增强模型的空间理解能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，GAS框架在感知和空间理解方面的提升最为显著，尤其在不同模型规模和训练阶段中，表现出更强的多模态理解能力。与基线模型相比，GAS在视觉理解任务上实现了显著的性能提升，且无推理开销。

🎯 应用场景

该研究的潜在应用领域包括智能视觉系统、自动驾驶、机器人视觉等，能够显著提升多模态理解的准确性和效率。未来，GAS框架可能为多模态交互和人机协作提供更强大的支持，推动相关技术的发展。

📄 摘要（原文）

While Multimodal Large Language Models (MLLMs) have achieved remarkable progress, visual understanding and generation are typically treated as divergent objectives. Existing unified frameworks often rely on discrete visual tokenization or diffusion objectives whose generative targets differ from the continuous representations consumed by visual understanding models, making direct transfer to enhance existing pretrained MLLMs non-trivial. In this work, we present GAS, a generation-guided training framework that reinterprets visual generation as auxiliary supervision for representation learning. Concretely, GAS adapts Next Embedding Prediction (NEP) as a cross-modal generation paradigm within a decoupled Mixture-of-Transformers (MoT) architecture. By maintaining a shared lower trunk and parallel upper layers, GAS lets generation losses enrich the shared visual pathway with finer spatial precision and stronger visual retention while shielding the upper understanding layers from direct generation gradients. To maximize this synergy, we further construct highly correlated generation tasks that demand deep cognitive grounding rather than generic synthesis alone. Across model scales and training stages, GAS improves aggregate multimodal understanding, with its most reliable gains on perception and spatial comprehension. Crucially, because the auxiliary generation branch is discarded after training, these gains incur zero inference overhead. Extensive controlled comparisons and representation-level analyses further clarify when and why generation-guided training benefits understanding, and demonstrate the feasibility of generation-guided training as a practical route to stronger multimodal understanding.