DesignProbe: A Graphic Design Benchmark for Multimodal Large Language Models

📄 arXiv: 2404.14801v1 📥 PDF

作者: Jieru Lin, Danqing Huang, Tiejun Zhao, Dechen Zhan, Chin-Yew Lin

分类: cs.CV

发布日期: 2024-04-23

备注: work in progress

💡 一句话要点

提出DesignProbe基准以评估多模态大语言模型在图形设计中的能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态大语言模型 图形设计 设计基准 属性识别 语义理解 风格与隐喻 性能提升

📋 核心要点

  1. 现有的图形设计理解方法在处理复杂设计元素和整体设计时面临挑战，缺乏有效的评估基准。
  2. 论文提出DesignProbe基准，通过八个任务来评估多模态大语言模型在图形设计中的能力，涵盖细粒度元素和整体设计层面。
  3. 实验结果显示，通过自我优化提示和添加图像示例，MLLMs的性能显著提升，尤其是图像示例的效果更为显著。

📝 摘要（中文）

一项成功的图形设计通常在细粒度设计元素（如颜色、字体和布局）与整体设计之间实现和谐。这种复杂性使得理解图形设计变得具有挑战性，因为它需要识别设计元素的能力以及理解设计的能力。随着多模态大语言模型（MLLMs）的快速发展，我们建立了DesignProbe基准，以研究MLLMs在设计方面的能力。我们的基准包含八个任务，涵盖细粒度元素层面和整体设计层面。在设计元素层面，我们考虑了属性识别和语义理解任务；在整体设计层面，我们包括了风格和隐喻。我们测试了9个MLLMs，并应用GPT-4作为评估者。此外，进一步实验表明，优化提示可以提升MLLMs的性能。

🔬 方法详解

问题定义：本论文旨在解决现有图形设计理解方法在细粒度设计元素和整体设计理解上的不足，缺乏系统性评估基准使得模型能力难以量化。

核心思路：通过建立DesignProbe基准，论文设计了八个任务，分别针对设计元素的属性识别、语义理解以及整体设计的风格和隐喻进行评估，旨在全面考察MLLMs的设计能力。

技术框架：整体架构包括任务设计、模型评估和结果分析三个主要模块。首先设计细粒度和整体设计任务，然后使用GPT-4作为评估工具，最后分析模型在不同任务上的表现。

关键创新：最重要的创新点在于建立了一个系统化的评估基准DesignProbe，涵盖了多种设计任务，能够全面评估MLLMs在图形设计领域的能力，填补了现有研究的空白。

关键设计：在实验中，优化提示的设计和任务知识的添加是关键，特别是通过自我优化提示和图像示例的引入，显著提升了模型的性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，经过自我优化的提示能够显著提升MLLMs的性能，尤其是在图像示例的引入后，模型的表现提升幅度更为明显。具体而言，某些任务的性能提升超过了20%，显示出图像示例在设计理解中的重要性。

🎯 应用场景

该研究的潜在应用领域包括图形设计教育、设计工具的智能化以及自动化设计生成等。通过评估和提升多模态大语言模型在设计领域的能力，能够为设计师提供更智能的辅助工具，提升设计效率和创意表达。未来，随着模型能力的不断提升，可能会推动图形设计行业的变革。

📄 摘要（原文）

A well-executed graphic design typically achieves harmony in two levels, from the fine-grained design elements (color, font and layout) to the overall design. This complexity makes the comprehension of graphic design challenging, for it needs the capability to both recognize the design elements and understand the design. With the rapid development of Multimodal Large Language Models (MLLMs), we establish the DesignProbe, a benchmark to investigate the capability of MLLMs in design. Our benchmark includes eight tasks in total, across both the fine-grained element level and the overall design level. At design element level, we consider both the attribute recognition and semantic understanding tasks. At overall design level, we include style and metaphor. 9 MLLMs are tested and we apply GPT-4 as evaluator. Besides, further experiments indicates that refining prompts can enhance the performance of MLLMs. We first rewrite the prompts by different LLMs and found increased performances appear in those who self-refined by their own LLMs. We then add extra task knowledge in two different ways (text descriptions and image examples), finding that adding images boost much more performance over texts.