DesignQA: A Multimodal Benchmark for Evaluating Large Language Models' Understanding of Engineering Documentation

📄 arXiv: 2404.07917v2 📥 PDF

作者: Anna C. Doris, Daniele Grandi, Ryan Tomich, Md Ferdous Alam, Mohammadmehdi Ataei, Hyunmin Cheong, Faez Ahmed

分类: cs.AI, cs.CL

发布日期: 2024-04-11 (更新: 2024-08-23)

🔗 代码/项目: GITHUB

💡 一句话要点

提出DesignQA以评估多模态大语言模型对工程文档的理解能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态大语言模型 工程文档理解 基准评估 视觉问题 规则提取 CAD图像分析 工程设计

📋 核心要点

  1. 当前多模态大语言模型在理解复杂工程文档时存在显著不足，尤其是在规则提取和图像分析方面。
  2. DesignQA基于真实工程挑战，结合文本、图像和图纸，设计了一个多模态基准，评估模型的理解和应用能力。
  3. 实验结果显示，尽管测试的模型表现出一定的潜力，但在处理复杂工程文档时仍面临诸多挑战，亟需改进。

📝 摘要（中文）

本研究介绍了DesignQA，一个新颖的基准，旨在评估多模态大语言模型（MLLMs）在理解和应用工程技术文档中的能力。DesignQA结合了来自Formula SAE学生竞赛的文本设计要求、CAD图像和工程图纸等多模态数据，特别关注现实工程挑战。与许多现有基准不同，DesignQA包含文档基础的视觉问题，输入图像和文档来自不同来源。该基准设有自动评估指标，并根据工程设计任务分为规则理解、规则合规和规则提取三个部分。我们对当时最先进的模型进行了评估，发现它们在从Formula SAE文档中可靠提取相关规则、识别CAD图像中的技术组件以及分析工程图纸方面存在困难。这些发现强调了需要更好处理复杂设计问题的多模态模型。

🔬 方法详解

问题定义：本研究旨在解决多模态大语言模型在理解和应用工程文档时的不足，尤其是在规则提取和图像分析方面。现有方法在处理复杂的工程要求时表现不佳，无法有效结合文本和视觉信息。

核心思路：DesignQA通过结合文本设计要求、CAD图像和工程图纸，创建一个多模态基准，专注于真实世界的工程挑战，旨在全面评估模型的理解能力。

技术框架：该基准分为三个主要模块：规则理解、规则合规和规则提取，涵盖工程师在设计过程中执行的任务。每个模块都设有自动评估指标，以量化模型的表现。

关键创新：DesignQA的创新之处在于其文档基础的视觉问题设计，输入图像和文档来自不同来源，这与现有基准的单一数据来源显著不同。

关键设计：在设计过程中，采用了自动评估指标，并针对不同任务设置了特定的评估标准，以确保模型在各个模块中的表现能够被准确量化。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，尽管测试的多模态大语言模型在某些任务上表现出潜力，但在从Formula SAE文档中提取相关规则、识别CAD图像中的技术组件和分析工程图纸方面仍存在显著不足。这些发现强调了对更强大多模态模型的需求。

🎯 应用场景

DesignQA的潜在应用领域包括工程设计、教育和AI辅助工具开发。通过提供一个标准化的评估基准，研究者和工程师可以更好地理解和改进多模态模型在实际工程文档处理中的能力，从而推动AI在工程领域的应用和发展。

📄 摘要（原文）

This research introduces DesignQA, a novel benchmark aimed at evaluating the proficiency of multimodal large language models (MLLMs) in comprehending and applying engineering requirements in technical documentation. Developed with a focus on real-world engineering challenges, DesignQA uniquely combines multimodal data-including textual design requirements, CAD images, and engineering drawings-derived from the Formula SAE student competition. Different from many existing MLLM benchmarks, DesignQA contains document-grounded visual questions where the input image and input document come from different sources. The benchmark features automatic evaluation metrics and is divided into segments-Rule Comprehension, Rule Compliance, and Rule Extraction-based on tasks that engineers perform when designing according to requirements. We evaluate state-of-the-art models (at the time of writing) like GPT-4o, GPT-4, Claude-Opus, Gemini-1.0, and LLaVA-1.5 against the benchmark, and our study uncovers the existing gaps in MLLMs' abilities to interpret complex engineering documentation. The MLLMs tested, while promising, struggle to reliably retrieve relevant rules from the Formula SAE documentation, face challenges in recognizing technical components in CAD images, and encounter difficulty in analyzing engineering drawings. These findings underscore the need for multimodal models that can better handle the multifaceted questions characteristic of design according to technical documentation. This benchmark sets a foundation for future advancements in AI-supported engineering design processes. DesignQA is publicly available at: https://github.com/anniedoris/design_qa/.