MARVEL: Multidimensional Abstraction and Reasoning through Visual Evaluation and Learning
作者: Yifan Jiang, Jiarui Zhang, Kexuan Sun, Zhivar Sourati, Kian Ahrabian, Kaixin Ma, Filip Ilievski, Jay Pujara
分类: cs.CV, cs.LG
发布日期: 2024-04-21 (更新: 2024-04-24)
💡 一句话要点
提出MARVEL基准以评估多模态大语言模型的抽象视觉推理能力
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 抽象视觉推理 多模态大语言模型 视觉推理基准 模型评估 感知问题
📋 核心要点
- 现有的抽象视觉推理基准仅考虑了有限的模式和任务配置，无法全面评估多模态大语言模型的推理能力。
- MARVEL基准通过引入770个谜题，涵盖六种核心知识模式和多种任务配置，旨在全面评估MLLMs的抽象视觉推理能力。
- 实验表明，所有模型在抽象视觉推理问题上的表现接近随机，且在感知问题上也存在显著的性能差距，揭示了其推理能力的不足。
📝 摘要（中文）
尽管多模态大语言模型（MLLMs）在许多视觉推理基准上取得了显著进展，但它们是否具备抽象视觉推理能力仍然是一个未解之谜。类似于数独谜题，抽象视觉推理（AVR）问题需要找到控制输入形状的高层次模式。现有的AVR基准仅考虑了有限的模式和任务配置。为全面评估MLLMs的推理能力，我们提出了MARVEL，一个包含770个谜题的多维AVR基准，涵盖六种核心知识模式和五种不同的任务配置。实验结果显示，所有模型在AVR问题上的表现接近随机，且在感知问题上也表现不佳，限制了它们的抽象推理能力。我们发布了完整的代码和数据集。
🔬 方法详解
问题定义：论文旨在解决多模态大语言模型在抽象视觉推理（AVR）能力评估中的不足。现有方法仅考虑有限的模式和输入形状，无法全面反映模型的推理能力。
核心思路：通过引入MARVEL基准，包含770个谜题，涵盖六种核心知识模式和多种任务配置，全面评估MLLMs的抽象视觉推理能力，并结合感知问题进行分层评估。
技术框架：MARVEL基准的整体架构包括问题生成模块、模型评估模块和结果分析模块。问题生成模块负责生成多样化的AVR谜题，模型评估模块用于测试MLLMs的推理能力，结果分析模块则用于分析模型在感知和推理上的表现。
关键创新：MARVEL基准的创新在于其多维度设计，涵盖了多种核心知识模式和任务配置，能够更全面地评估模型的抽象推理能力。与现有方法相比，MARVEL提供了更丰富的评估场景和更高的挑战性。
关键设计：在设计中，MARVEL使用了多种几何和抽象形状，设置了不同的任务配置，并在评估中引入了感知问题，以确保模型的推理能力不仅基于模式识别，还包括对视觉特征的理解。
🖼️ 关键图片
📊 实验亮点
实验结果显示，所有测试的多模态大语言模型在抽象视觉推理问题上的表现接近随机，且在感知问题上的准确率低于45%。与人类相比，模型在各类模式和任务配置上的性能差距达到40%。
🎯 应用场景
该研究的潜在应用领域包括教育、游戏设计和人工智能助手等。通过评估和提升多模态大语言模型的抽象视觉推理能力，可以推动智能系统在复杂任务中的表现，提升人机交互的智能化水平。
📄 摘要（原文）
While multi-modal large language models (MLLMs) have shown significant progress on many popular visual reasoning benchmarks, whether they possess abstract visual reasoning abilities remains an open question. Similar to the Sudoku puzzles, abstract visual reasoning (AVR) problems require finding high-level patterns (e.g., repetition constraints) that control the input shapes (e.g., digits) in a specific task configuration (e.g., matrix). However, existing AVR benchmarks only considered a limited set of patterns (addition, conjunction), input shapes (rectangle, square), and task configurations (3 by 3 matrices). To evaluate MLLMs' reasoning abilities comprehensively, we introduce MARVEL, a multidimensional AVR benchmark with 770 puzzles composed of six core knowledge patterns, geometric and abstract shapes, and five different task configurations. To inspect whether the model accuracy is grounded in perception and reasoning, MARVEL complements the general AVR question with perception questions in a hierarchical evaluation framework. We conduct comprehensive experiments on MARVEL with nine representative MLLMs in zero-shot and few-shot settings. Our experiments reveal that all models show near-random performance on the AVR question, with significant performance gaps (40%) compared to humans across all patterns and task configurations. Further analysis of perception questions reveals that MLLMs struggle to comprehend the visual features (near-random performance) and even count the panels in the puzzle ( <45%), hindering their ability for abstract reasoning. We release our entire code and dataset.