BLINK: Multimodal Large Language Models Can See but Not Perceive

📄 arXiv: 2404.12390v4 📥 PDF

作者: Xingyu Fu, Yushi Hu, Bangzheng Li, Yu Feng, Haoyu Wang, Xudong Lin, Dan Roth, Noah A. Smith, Wei-Chiu Ma, Ranjay Krishna

分类: cs.CV, cs.AI, cs.CL

发布日期: 2024-04-18 (更新: 2024-07-03)

备注: Multimodal Benchmark, Project Url: https://zeyofu.github.io/blink/, ECCV 2024

💡 一句话要点

提出BLINK基准以解决多模态语言模型的视觉感知问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态语言模型 视觉感知 计算机视觉 深度学习 基准评估

📋 核心要点

  1. 现有的多模态语言模型在视觉感知任务上表现不佳，无法有效解决需要深度理解的视觉问题。
  2. BLINK基准通过将经典计算机视觉任务转化为多项选择题，旨在评估和提升多模态语言模型的视觉感知能力。
  3. 实验结果显示，现有模型在BLINK基准上的表现远低于人类，表明其在视觉感知能力上尚未达到成熟水平。

📝 摘要（中文）

我们介绍了BLINK，一个新的多模态语言模型基准，专注于核心视觉感知能力，这在其他评估中并不存在。大多数BLINK任务可以被人类在“眨眼间”解决（例如，相对深度估计、视觉对应、取证检测和多视角推理）。然而，我们发现这些感知需求较高的任务对当前的多模态语言模型构成了重大挑战，因为它们无法通过自然语言进行调解。BLINK将14个经典计算机视觉任务重新格式化为3,807个多项选择题，配以单张或多张图像和视觉提示。尽管人类的平均准确率为95.70%，但现有的多模态语言模型在BLINK上表现令人惊讶地差：即使是表现最好的GPT-4V和Gemini，其准确率也仅为51.26%和45.72%，仅比随机猜测高出13.17%和7.63%。我们的分析还强调，专业的计算机视觉模型能够更好地解决这些问题，暗示了未来改进的潜在路径。我们相信BLINK将激励社区帮助多模态语言模型赶上人类水平的视觉感知能力。

🔬 方法详解

问题定义：论文要解决的问题是现有多模态语言模型在视觉感知任务上的不足，尤其是在需要深度理解和推理的任务上表现不佳。现有方法无法有效处理这些任务，导致准确率低下。

核心思路：论文的核心解决思路是通过BLINK基准，将经典计算机视觉任务重新格式化为多项选择题，以便更好地评估和提升多模态语言模型的视觉感知能力。这种设计旨在直接测试模型在视觉理解上的能力，而不是依赖于自然语言的中介。

技术框架：整体架构包括将14个经典计算机视觉任务转化为3,807个多项选择题，配合单张或多张图像和视觉提示。模型需要在这些任务中进行选择，评估其视觉感知能力。

关键创新：最重要的技术创新点在于BLINK基准的提出，它专注于评估多模态语言模型的视觉感知能力，而不是仅仅依赖于文本理解。这与现有方法的本质区别在于，BLINK强调视觉任务的直接评估。

关键设计：在设计中，关键参数包括任务的选择和格式化方式，损失函数的设置，以及如何有效地结合视觉提示与文本信息，以确保模型能够在视觉感知任务中进行有效推理。具体的网络结构细节尚未明确，但强调了视觉与语言的融合。

📊 实验亮点

实验结果显示，尽管人类在BLINK基准上的平均准确率达到95.70%，但现有的多模态语言模型如GPT-4V和Gemini的表现仅为51.26%和45.72%，这表明其在视觉感知能力上仍有很大提升空间。与随机猜测相比，模型的表现仅高出13.17%和7.63%，显示出BLINK基准的挑战性。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶、机器人视觉、医疗影像分析等，需要高水平视觉理解的场景。通过提升多模态语言模型的视觉感知能力，未来可以实现更智能的交互系统和更高效的决策支持工具，推动人工智能在各个领域的应用。

📄 摘要（原文）

We introduce Blink, a new benchmark for multimodal language models (LLMs) that focuses on core visual perception abilities not found in other evaluations. Most of the Blink tasks can be solved by humans "within a blink" (e.g., relative depth estimation, visual correspondence, forensics detection, and multi-view reasoning). However, we find these perception-demanding tasks cast significant challenges for current multimodal LLMs because they resist mediation through natural language. Blink reformats 14 classic computer vision tasks into 3,807 multiple-choice questions, paired with single or multiple images and visual prompting. While humans get 95.70% accuracy on average, Blink is surprisingly challenging for existing multimodal LLMs: even the best-performing GPT-4V and Gemini achieve accuracies of 51.26% and 45.72%, only 13.17% and 7.63% higher than random guessing, indicating that such perception abilities have not "emerged" yet in recent multimodal LLMs. Our analysis also highlights that specialist CV models could solve these problems much better, suggesting potential pathways for future improvements. We believe Blink will stimulate the community to help multimodal LLMs catch up with human-level visual perception.