UniG2U-Bench: Do Unified Models Advance Multimodal Understanding?
作者: Zimo Wen, Boxiu Li, Wanbo Zhang, Junxiang Lei, Xiaoyu Chen, Yijia Fan, Qi Zhang, Yujiang Wang, Lili Qiu, Bo Li, Ziwei Liu, Caihua Shan, Yifan Yang, Yifei Shen
分类: cs.CV, cs.AI
发布日期: 2026-03-03
💡 一句话要点
UniG2U-Bench：评估统一模型在多模态理解中生成能力对理解能力的提升。
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态理解 生成到理解 统一模型 基准测试 视觉-语言模型 归纳偏置 空间智能
📋 核心要点
- 现有基准缺乏对生成能力如何促进多模态理解的系统性评估，难以确定生成在哪些任务中有效。
- 提出UniG2U-Bench，一个包含7个领域和30个子任务的综合性基准，用于评估生成到理解（G2U）的性能。
- 实验表明，统一模型通常不如其基础VLM，但在空间智能等任务中，生成能力可以带来性能提升。
📝 摘要（中文）
统一多模态模型近年来展现出强大的生成能力，但生成是否以及何时能够提升理解能力仍不明确。现有基准缺乏对生成促进理解的具体任务的系统性探索。为此，我们引入UniG2U-Bench，这是一个综合性的基准，将生成到理解（G2U）的评估分为7个领域和30个子任务，这些任务需要不同程度的隐式或显式视觉转换。对30多个模型的广泛评估揭示了三个核心发现：1）统一模型通常不如其基础视觉-语言模型（VLM），并且生成然后回答（GtA）的推理通常会降低相对于直接推理的性能。2）在空间智能、视觉错觉或多轮推理子任务中，持续的增强效果显现，其中增强的空间和形状感知以及多步中间图像状态被证明是有益的。3）具有相似推理结构的任务和共享架构的模型表现出相关的行为，这表明生成-理解耦合在任务、预训练数据和模型架构上诱导了类一致的归纳偏置。这些发现强调了需要更多样化的训练数据和新颖的范例，以充分释放统一多模态建模的潜力。
🔬 方法详解
问题定义：论文旨在解决现有视觉-语言模型（VLM）和统一多模态模型中，生成能力对理解能力提升效果评估不足的问题。现有基准测试缺乏对生成能力在不同任务类型上的系统性分析，无法明确生成在哪些场景下能够真正促进理解，以及在哪些场景下会适得其反。此外，现有研究对生成-理解耦合所带来的归纳偏置缺乏深入探讨。
核心思路：论文的核心思路是构建一个全面的基准测试集UniG2U-Bench，该基准覆盖了多种需要不同程度视觉转换的任务，从而能够系统性地评估生成能力对理解能力的贡献。通过对多种模型在UniG2U-Bench上的广泛评估，分析生成能力在不同任务上的表现，并探究生成-理解耦合所带来的归纳偏置。
技术框架：UniG2U-Bench基准测试集包含7个领域和30个子任务，这些任务被设计为需要不同程度的隐式或显式视觉转换。评估流程包括：1) 选择不同的VLM和统一多模态模型；2) 在UniG2U-Bench上进行测试，采用直接推理和生成然后回答（GtA）两种方式；3) 分析模型在不同任务上的表现，并比较不同模型的性能差异；4) 探究任务推理结构和模型架构对性能的影响。
关键创新：论文的主要创新在于构建了一个全面的、系统性的基准测试集UniG2U-Bench，该基准能够对生成能力在多模态理解中的作用进行细粒度的评估。与现有基准相比，UniG2U-Bench更加关注生成能力对不同类型任务的影响，并深入探讨了生成-理解耦合所带来的归纳偏置。
关键设计：UniG2U-Bench的子任务设计涵盖了多种视觉转换类型，例如空间智能、视觉错觉和多轮推理。评估过程中，采用了直接推理和生成然后回答（GtA）两种方式，以比较生成能力对理解能力的影响。此外，论文还分析了任务推理结构和模型架构对性能的影响，从而更深入地理解生成-理解耦合的机制。
🖼️ 关键图片
📊 实验亮点
实验结果表明，统一模型在空间智能、视觉错觉和多轮推理等子任务中表现出持续的增强效果，但在其他任务中通常不如其基础VLM。生成然后回答（GtA）的推理方式通常会降低性能。研究还发现，具有相似推理结构的任务和共享架构的模型表现出相关的行为，表明生成-理解耦合会诱导类一致的归纳偏置。
🎯 应用场景
该研究成果可应用于多模态模型的设计与评估，帮助研究人员更好地理解生成能力在多模态理解中的作用。UniG2U-Bench可作为未来多模态模型研究的基准，促进相关领域的发展。此外，该研究还可以指导模型训练数据的选择，以及模型架构的设计，从而提升多模态模型的性能。
📄 摘要（原文）
Unified multimodal models have recently demonstrated strong generative capabilities, yet whether and when generation improves understanding remains unclear. Existing benchmarks lack a systematic exploration of the specific tasks where generation facilitates understanding. To this end, we introduce UniG2U-Bench, a comprehensive benchmark categorizing generation-to-understanding (G2U) evaluation into 7 regimes and 30 subtasks, requiring varying degrees of implicit or explicit visual transformations. Extensive evaluation of over 30 models reveals three core findings: 1) Unified models generally underperform their base Vision-Language Models (VLMs), and Generate-then-Answer (GtA) inference typically degrades performance relative to direct inference. 2) Consistent enhancements emerge in spatial intelligence, visual illusions, or multi-round reasoning subtasks, where enhanced spatial and shape perception, as well as multi-step intermediate image states, prove beneficial. 3) Tasks with similar reasoning structures and models sharing architectures exhibit correlated behaviors, suggesting that generation-understanding coupling induces class-consistent inductive biases over tasks, pretraining data, and model architectures. These findings highlight the necessity for more diverse training data and novel paradigms to fully unlock the potential of unified multimodal modeling.