Unison: Benchmarking Unified Multimodal Models via Synergistic Understanding and Generation
作者: Jinyu Liu, Xincheng Shuai, Henghui Ding, Yu-Gang Jiang
分类: cs.CV
发布日期: 2026-06-25
备注: ICML 2026
🔗 代码/项目: GITHUB
💡 一句话要点
提出Unison基准以评估统一多模态模型的理解与生成能力
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态模型 理解与生成 评估基准 Unison 人类对齐 协同作用 性能分析
📋 核心要点
- 现有统一多模态模型的评估通常孤立考量理解与生成，缺乏对两者协同作用的全面评估。
- 本文提出Unison基准，包含2169个样本，旨在联合评估理解与生成能力，提供更全面的评估框架。
- 通过对先进模型的评估，揭示了当前模型的局限性，并为未来研究提供了新的方向。
📝 摘要（中文）
统一多模态模型在理解与生成方面取得了显著进展。然而，现有评估通常孤立地考量理解和生成能力，忽视了两者之间的协同作用。为此，本文提出了Unison，一个包含2169个高质量统一任务样本的综合基准，旨在评估统一多模态模型的联合理解与生成能力。Unison具有三个主要优势：1) 综合维度，涵盖内部一致性、理解引导生成、生成引导理解及相互增强；2) 诊断评估，提供统一和解耦的理解与生成轨道，便于细致分析失败模式；3) 人类对齐，推出与人类判断高度一致的评估模型Unison-Judge，以确保评估的可靠性。通过对当前最先进模型在Unison上的系统评估，揭示了现有统一多模态系统的关键局限性，并指出未来研究的有希望方向。
🔬 方法详解
问题定义：本文旨在解决现有多模态模型评估中理解与生成能力孤立考量的问题，导致无法全面反映模型的实际性能。
核心思路：提出Unison基准，通过综合评估理解与生成的协同作用，填补现有评估的空白，促进模型的全面发展。
技术框架：Unison基准包含2169个高质量样本，分为统一轨道和解耦轨道，允许对理解与生成进行细致的分析。评估过程中引入Unison-Judge模型，以确保评估结果与人类判断一致。
关键创新：Unison的最大创新在于其综合维度评估方法，涵盖了内部一致性、理解引导生成、生成引导理解及相互增强，突破了传统评估的局限。
关键设计：在评估过程中，设置了多种参数和损失函数，以确保模型在理解与生成任务中的表现得到全面反映，同时通过Unison-Judge实现与人类评估的对齐。
🖼️ 关键图片
📊 实验亮点
在对当前最先进的统一多模态模型进行评估时，Unison揭示了这些模型在理解与生成协同方面的关键局限性，提供了细致的失败模式分析。通过使用Unison，研究者能够量化统一建模带来的性能提升，推动未来研究的深入。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理、计算机视觉和人机交互等。通过提供更全面的评估基准，Unison能够帮助研究者更好地理解和改进多模态模型的性能，推动相关技术的进步与应用。未来，Unison可能成为多模态模型评估的标准工具，影响相关领域的研究方向。
📄 摘要（原文）
Unified multimodal models capable of both understanding and generation have achieved remarkable strides. However, despite their unified designs, existing evaluations typically assess understanding and generation capabilities in isolation, overlooking the synergy between comprehension and generation. To bridge this gap, we introduce Unison, a comprehensive benchmark comprising 2,169 high-quality unified task samples, designed to evaluate joint understanding and generation in unified multimodal models. Unison offers three key strengths: 1) Comprehensive Dimensions: Unison encompasses internal consistency, understanding-guided generation, generation-guided understanding, and mutual enhancement to enable holistic evaluation. 2) Diagnostic Evaluation: it provides both unified and decoupled tracks for understanding and generation, allowing fine-grained attribution of failure modes and quantitative analysis of the gains from unified modeling. 3) Human Alignment: we also introduce Unison-Judge, an evaluation model well aligned with human judgments to ensure reliable assessment. Based on systematic evaluations of state-of-the-art models on Unison, we uncover critical limitations in current unified multimodal systems and highlight promising directions for future research. Codes, Unison and Unison-Judge are publicly available at https://github.com/FudanCVL/Unison.