Do You See What You Draw? A Semantic Closed-Loop Framework for Holistic Evaluation of Unified Multimodal Models

📄 arXiv: 2608.11907v1 📥 PDF

作者: Hao Zhang, Jiaxin Qi, Zhijiang Tang, Jianqiang Huang

分类: cs.CV, cs.AI

发布日期: 2026-08-12

备注: 21 pages, 8 figures, 12 tables

💡 一句话要点

提出自生成理解框架以解决统一多模态模型评估问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 统一多模态模型 自生成理解 语义闭环 模型评估 视觉生成与理解

📋 核心要点

  1. 现有评估方法将生成与判别能力视为独立任务，缺乏对统一多模态模型的系统级评估。
  2. 提出自生成理解（SGU）框架，通过语义闭环挑战，评估统一模型的理解与生成能力。
  3. 实验显示高性能UMMs在自我生成上下文推理方面存在困难，揭示了传统评估的局限性。

📝 摘要（中文）

随着大型视觉-语言模型越来越多地旨在将视觉生成与理解整合到单一参数空间中，以连贯的方式评估这种结构统一性仍然是一个关键挑战。目前的评估协议主要将生成和判别能力视为独立任务，导致对统一多模态模型（UMMs）的系统级评估存在空白。本文提出了一种新颖的自生成理解（SGU）评估框架，通过语义闭环挑战探测统一模型的集成功能。SGU不需要新的注释，利用UMMs的理解和生成双重能力，要求模型首先感知图像并生成文本描述，随后基于该描述重建视觉上下文，最后对自生成的输出进行推理。该流程提供了一个零成本的测试平台，专门为评估UMMs作为统一系统而量身定制。大量实验表明，即使是高性能的UMMs也常常难以对自身生成的上下文进行推理，揭示了单独评估理解或生成时未能捕捉的局限性。我们的工作提供了一个互补的整体评估框架，并为下一代统一多模态模型的发展基准奠定了基础。

🔬 方法详解

问题定义：本文旨在解决统一多模态模型（UMMs）评估中的结构统一性问题。现有方法将生成与理解能力分开评估，无法全面反映模型的实际性能和局限性。

核心思路：提出自生成理解（SGU）框架，通过语义闭环的方式，要求模型在生成文本描述后重建视觉上下文，并对生成结果进行推理，从而全面评估模型的集成功能。

技术框架：SGU框架包含三个主要阶段：首先，模型感知输入图像并生成文本描述；其次，基于文本描述重建视觉上下文；最后，对自生成的上下文进行推理。这一流程形成了一个闭环，确保模型的理解与生成能力相互验证。

关键创新：SGU框架的创新在于不依赖于新的注释，通过自生成的方式实现了对UMMs的整体评估。这与传统方法的本质区别在于，后者通常将生成与理解能力分开评估，无法捕捉到模型的综合性能。

关键设计：SGU框架的设计中，关键参数包括生成文本的质量、重建视觉上下文的准确性以及推理过程的有效性。损失函数设计上，强调了生成与理解之间的相互作用，以确保模型在闭环中能够有效学习。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，即使是表现优异的UMMs，在自我生成上下文的推理能力上也存在显著不足，揭示了传统评估方法未能捕捉的局限性。这一发现为未来模型的改进提供了重要的参考依据。

🎯 应用场景

该研究的潜在应用领域包括智能助手、自动内容生成、图像描述生成等。通过提供一种全面的评估框架，研究为下一代统一多模态模型的开发提供了基础，推动了多模态技术在实际应用中的进步与创新。

📄 摘要（原文）

As Large Vision-Language Models increasingly aim to integrate visual generation and understanding within a single parameter space, evaluating such structural unification in a cohesive manner remains a critical challenge. Current evaluation protocols predominantly treat generative and discriminative capabilities as separate tasks, leaving a gap in system-level evaluation for unified multimodal models (UMMs). In this work, we propose Self-Generative-Understanding (SGU), a novel, annotation-free evaluation framework that probes the integrated capabilities of unified models through a semantic closed-loop challenge. Without requiring new annotations, SGU leverages the dual understanding-and-generation abilities of UMMs by asking them to first perceive an image and produce a textual description, subsequently reconstruct a visual context based on that description, and finally perform reasoning over the self-generated output. This pipeline provides a zero-cost testbed that yields an integrated performance score specifically tailored for evaluating UMMs as unified systems. Extensive experiments show that even high-performing UMMs often struggle to reason over their own generated contexts, revealing limitations that are not captured by separate evaluations of understanding or generation alone. Our work provides a complementary holistic evaluation framework and offers a foundation for benchmarking the development of next-generation unified multimodal models.