Uni-MMMU: A Massive Multi-discipline Multimodal Unified Benchmark

📄 arXiv: 2510.13759v1 📥 PDF

作者: Kai Zou, Ziqi Huang, Yuhao Dong, Shulin Tian, Dian Zheng, Hongbo Liu, Jingwen He, Bin Liu, Yu Qiao, Ziwei Liu

分类: cs.CV

发布日期: 2025-10-15

备注: Equal contributions from frst three authors. Project page: https://vchitect.github.io/Uni-MMMU-Project/ Code: https://github.com/vchitect/Uni-MMMU

💡 一句话要点

提出Uni-MMMU：一个大规模多学科多模态统一基准，用于评估视觉理解与生成模型的双向协同能力。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态学习 统一模型 视觉理解 视觉生成 基准测试 跨模态推理 人工智能 认知计算

📋 核心要点

  1. 现有基准测试未能充分评估多模态模型在视觉理解和生成之间的真正集成，忽略了两者内在耦合的任务。
  2. Uni-MMMU通过构建双向耦合任务，要求模型利用理解指导生成，或利用生成辅助理解，从而促进跨模态协同。
  3. Uni-MMMU包含可验证的推理步骤、独特的真值和可重复的评分协议，为统一模型的评估提供了可靠的基础。

📝 摘要（中文）

统一多模态模型旨在联合实现视觉理解和生成，但目前的基准很少检验它们的真正集成。现有的评估要么孤立地对待这两种能力，要么忽略了内在耦合它们的任务。为了解决这个差距，我们提出了Uni-MMMU，这是一个全面的、学科感知的基准，它系统地展开了生成和理解之间在八个以推理为中心的领域（包括科学、编码、数学和谜题）的双向协同作用。每个任务都是双向耦合的，要求模型（i）利用概念理解来指导精确的视觉合成，或（ii）利用生成作为分析推理的认知支架。Uni-MMMU包含可验证的中间推理步骤、独特的ground truth以及文本和视觉输出的可重复评分协议。通过对最先进的统一模型、仅生成模型和仅理解模型的广泛评估，我们揭示了显著的性能差异和跨模态依赖性，为这些能力何时以及如何相互加强提供了新的见解，并为推进统一模型奠定了可靠的基础。

🔬 方法详解

问题定义：现有统一多模态模型评估benchmark，要么孤立地评估视觉理解和生成能力，要么缺乏对两者内在联系的深入考察，无法有效衡量模型在复杂推理任务中的跨模态协同能力。因此，需要一个能够全面、系统地评估模型在理解和生成之间双向协同作用的基准。

核心思路：Uni-MMMU的核心思路是构建一系列双向耦合的多模态任务，这些任务要求模型同时具备视觉理解和生成能力，并且能够利用一种能力来辅助另一种能力。例如，模型需要根据对科学概念的理解来生成相应的图像，或者利用生成的代码片段来辅助数学问题的求解。通过这种方式，Uni-MMMU能够更全面地评估模型在复杂推理任务中的跨模态协同能力。

技术框架：Uni-MMMU基准包含八个以推理为中心的领域，包括科学、编码、数学和谜题。每个领域都包含多个双向耦合的任务，这些任务要求模型进行视觉理解和生成。Uni-MMMU还提供可验证的中间推理步骤、独特的ground truth以及文本和视觉输出的可重复评分协议。整体流程是：输入多模态数据（例如文本描述和图像），模型进行推理和生成，然后根据ground truth进行评估。

关键创新：Uni-MMMU的关键创新在于其双向耦合的任务设计，这种设计能够更有效地评估模型在视觉理解和生成之间的协同作用。此外，Uni-MMMU还提供了可验证的中间推理步骤，这使得评估过程更加透明和可解释。与现有benchmark相比，Uni-MMMU更注重考察模型在复杂推理任务中的跨模态能力。

关键设计：Uni-MMMU的关键设计包括任务的选择和设计、ground truth的构建以及评分协议的制定。任务的选择需要考虑到不同领域的特点，并且要确保任务具有足够的挑战性和多样性。Ground truth的构建需要保证其准确性和完整性。评分协议的制定需要保证其可重复性和公平性。具体参数设置、损失函数和网络结构取决于所评估的模型。

📊 实验亮点

Uni-MMMU对最先进的统一模型、仅生成模型和仅理解模型进行了广泛评估，揭示了显著的性能差异和跨模态依赖性。实验结果表明，统一模型在某些任务上表现优于仅生成或仅理解模型，但在其他任务上则表现不如。这表明，不同模型在不同任务上具有不同的优势，需要根据具体任务选择合适的模型。

🎯 应用场景

Uni-MMMU的研究成果可应用于开发更强大的多模态人工智能系统，例如智能教育平台、辅助设计工具和智能机器人。这些系统能够更好地理解和生成视觉信息，从而实现更自然、更智能的人机交互。此外，该基准可以推动多模态模型在科学研究、软件开发和问题解决等领域的应用。

📄 摘要（原文）

Unified multimodal models aim to jointly enable visual understanding and generation, yet current benchmarks rarely examine their true integration. Existing evaluations either treat the two abilities in isolation or overlook tasks that inherently couple them. To address this gap, we present Uni-MMMU, a comprehensive and discipline-aware benchmark that systematically unfolds the bidirectional synergy between generation and understanding across eight reasoning-centric domains, including science, coding, mathematics, and puzzles. Each task is bidirectionally coupled, demanding models to (i) leverage conceptual understanding to guide precise visual synthesis, or (ii) utilize generation as a cognitive scaffold for analytical reasoning. Uni-MMMU incorporates verifiable intermediate reasoning steps, unique ground truths, and a reproducible scoring protocol for both textual and visual outputs. Through extensive evaluation of state-of-the-art unified, generation-only, and understanding-only models, we reveal substantial performance disparities and cross-modal dependencies, offering new insights into when and how these abilities reinforce one another, and establishing a reliable foundation for advancing unified models.