GPT-4V-AD: Exploring Grounding Potential of VQA-oriented GPT-4V for Zero-shot Anomaly Detection

📄 arXiv: 2311.02612v2 📥 PDF

作者: Jiangning Zhang, Haoyang He, Xuhai Chen, Zhucun Xue, Yabiao Wang, Chengjie Wang, Lei Xie, Yong Liu

分类: cs.CV

发布日期: 2023-11-05 (更新: 2024-04-16)

🔗 代码/项目: GITHUB

💡 一句话要点

提出GPT-4V-AD以解决零-shot异常检测问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉问答 异常检测 多模态模型 GPT-4V 零-shot学习 图像分割 深度学习

📋 核心要点

  1. 现有的异常检测方法在处理零-shot任务时效果有限，尤其是在视觉问答的应用场景中。
  2. 论文提出的GPT-4V-AD框架通过粒度区域划分、提示设计和文本到分割的转换，优化了异常检测的评估过程。
  3. 实验结果显示，GPT-4V在MVTec AD和VisA数据集上分别达到了77.1/88.0和68.0/76.6的AU-ROC，但仍低于当前最先进的方法。

📝 摘要（中文）

大型多模态模型GPT-4V赋予GPT-4视觉基础能力，使其能够通过视觉问答(VQA)范式处理某些任务。本文探讨了VQA导向的GPT-4V在视觉异常检测(AD)中的潜力，并首次对流行的MVTec AD和VisA数据集进行了定性和定量评估。考虑到该任务需要图像/像素级评估，提出的GPT-4V-AD框架包含三个组件：1) 粒度区域划分，2) 提示设计，3) 文本到分割的转换，以便于定量评估，并进行了比较分析。结果表明，GPT-4V在零-shot AD任务中通过VQA范式取得了一定的成果，但与最先进的零-shot方法仍存在差距，未来需要进一步研究。该研究为VQA导向的LMM在零-shot AD任务中的研究提供了基线参考，并提出了若干可能的未来工作方向。

🔬 方法详解

问题定义：本文旨在解决零-shot异常检测中的视觉问答应用问题。现有方法在图像和像素级评估上表现不足，难以满足实际需求。

核心思路：论文提出的GPT-4V-AD框架通过引入视觉问答的思维方式，利用GPT-4V的视觉基础能力，提升异常检测的准确性和效率。

技术框架：整体架构包括三个主要模块：1) 粒度区域划分，帮助细化图像分析；2) 提示设计，优化模型输入；3) 文本到分割的转换，便于定量评估。

关键创新：最重要的创新在于将VQA范式应用于异常检测任务，利用GPT-4V的多模态能力进行图像和像素级的评估，显著提升了检测效果。

关键设计：在参数设置上，模型采用了特定的损失函数以优化分割效果，并在网络结构上进行了调整，以适应视觉问答的需求。

📊 实验亮点

实验结果表明，GPT-4V在MVTec AD和VisA数据集上分别达到了77.1/88.0和68.0/76.6的AU-ROC，相较于传统方法有显著提升，但仍低于WinCLIP和CLIP-AD等最先进的零-shot方法，显示出进一步研究的必要性。

🎯 应用场景

该研究的潜在应用领域包括工业检测、医疗影像分析和安全监控等，能够有效识别异常情况并提高检测效率。随着技术的进步，未来可能在更多实际场景中得到应用，推动相关领域的发展。

📄 摘要（原文）

Large Multimodal Model (LMM) GPT-4V(ision) endows GPT-4 with visual grounding capabilities, making it possible to handle certain tasks through the Visual Question Answering (VQA) paradigm. This paper explores the potential of VQA-oriented GPT-4V in the recently popular visual Anomaly Detection (AD) and is the first to conduct qualitative and quantitative evaluations on the popular MVTec AD and VisA datasets. Considering that this task requires both image-/pixel-level evaluations, the proposed GPT-4V-AD framework contains three components: \textbf{\textit{1)}} Granular Region Division, \textbf{\textit{2)}} Prompt Designing, \textbf{\textit{3)}} Text2Segmentation for easy quantitative evaluation, and have made some different attempts for comparative analysis. The results show that GPT-4V can achieve certain results in the zero-shot AD task through a VQA paradigm, such as achieving image-level 77.1/88.0 and pixel-level 68.0/76.6 AU-ROCs on MVTec AD and VisA datasets, respectively. However, its performance still has a certain gap compared to the state-of-the-art zero-shot method, \eg, WinCLIP and CLIP-AD, and further researches are needed. This study provides a baseline reference for the research of VQA-oriented LMM in the zero-shot AD task, and we also post several possible future works. Code is available at \url{https://github.com/zhangzjn/GPT-4V-AD}.