Do LLMs Understand Visual Anomalies? Uncovering LLM's Capabilities in Zero-shot Anomaly Detection

📄 arXiv: 2404.09654v3 📥 PDF

作者: Jiaqi Zhu, Shaofeng Cai, Fang Deng, Beng Chin Ooi, Junran Wu

分类: cs.CV, cs.MM

发布日期: 2024-04-15 (更新: 2025-04-07)

备注: Accepted by MM'24 (Oral)

💡 一句话要点

提出ALFA以解决视觉异常检测中的语义歧义问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉异常检测 大型视觉语言模型 零样本学习 语义对齐 图像处理 深度学习

📋 核心要点

  1. 现有方法依赖静态异常提示，导致跨语义歧义，且未能有效利用局部像素级信息进行准确的异常定位。
  2. 本文提出ALFA，通过运行时提示自适应策略生成信息丰富的异常提示，并结合细粒度对齐器实现局部语义融合。
  3. 在MVTec和VisA数据集上进行的实验表明，ALFA在零样本视觉异常检测中显著提升了性能，分别提高了12.1%和8.9%。

📝 摘要（中文）

大型视觉语言模型（LVLMs）在基于自然语言推导视觉表示方面表现出色。近期研究利用LVLMs解决零样本视觉异常检测（VAD）挑战，通过将图像与描述正常和异常状态的文本配对。然而，现有方法依赖静态异常提示，容易产生语义歧义，并优先考虑全局图像级表示，而忽视了精确异常定位所需的局部像素级图像与文本对齐。本文提出了一种名为ALFA的无训练方法，通过统一模型解决这些挑战。我们提出了一种运行时提示自适应策略，生成信息丰富的异常提示，并通过上下文评分机制进行每图像的异常提示自适应和语义歧义缓解。进一步引入了一种新颖的细粒度对齐器，将局部像素级语义融合，实现精确的异常定位。对MVTec和VisA数据集的广泛评估证实了ALFA在零样本VAD中的有效性，相较于最先进的方法在MVTec上提升了12.1%的PRO，在VisA上提升了8.9%。

🔬 方法详解

问题定义：本文旨在解决零样本视觉异常检测中的语义歧义和局部信息利用不足的问题。现有方法依赖静态异常提示，导致异常定位不准确。

核心思路：ALFA通过运行时提示自适应策略生成动态异常提示，结合上下文评分机制和细粒度对齐器，提升异常检测的准确性和鲁棒性。

技术框架：整体架构包括异常提示生成模块、上下文评分机制和细粒度对齐器。首先生成异常提示，然后进行图像级和像素级的语义对齐。

关键创新：ALFA的核心创新在于运行时提示自适应和细粒度对齐器的结合，显著改善了局部像素级语义的融合与异常定位的精度。

关键设计：在设计中，采用了上下文评分机制来动态调整异常提示，并通过细粒度对齐器实现图像与文本的局部对齐，确保了异常检测的准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

ALFA在MVTec和VisA数据集上的实验结果显示，分别提升了12.1%和8.9%的PRO，相较于最先进的方法具有显著的性能优势，验证了其在零样本视觉异常检测中的有效性。

🎯 应用场景

该研究在工业缺陷检测、医疗影像分析和安全监控等领域具有广泛的应用潜力。通过提高视觉异常检测的准确性，ALFA能够帮助自动化系统更好地识别和处理异常情况，提升生产效率和安全性。未来，该方法还可能扩展到其他多模态任务中，推动相关领域的发展。

📄 摘要（原文）

Large vision-language models (LVLMs) are markedly proficient in deriving visual representations guided by natural language. Recent explorations have utilized LVLMs to tackle zero-shot visual anomaly detection (VAD) challenges by pairing images with textual descriptions indicative of normal and abnormal conditions, referred to as anomaly prompts. However, existing approaches depend on static anomaly prompts that are prone to cross-semantic ambiguity, and prioritize global image-level representations over crucial local pixel-level image-to-text alignment that is necessary for accurate anomaly localization. In this paper, we present ALFA, a training-free approach designed to address these challenges via a unified model. We propose a run-time prompt adaptation strategy, which first generates informative anomaly prompts to leverage the capabilities of a large language model (LLM). This strategy is enhanced by a contextual scoring mechanism for per-image anomaly prompt adaptation and cross-semantic ambiguity mitigation. We further introduce a novel fine-grained aligner to fuse local pixel-level semantics for precise anomaly localization, by projecting the image-text alignment from global to local semantic spaces. Extensive evaluations on MVTec and VisA datasets confirm ALFA's effectiveness in harnessing the language potential for zero-shot VAD, achieving significant PRO improvements of 12.1% on MVTec and 8.9% on VisA compared to state-of-the-art approaches.