FiLo: Zero-Shot Anomaly Detection by Fine-Grained Description and High-Quality Localization

📄 arXiv: 2404.13671v3 📥 PDF

作者: Zhaopeng Gu, Bingke Zhu, Guibo Zhu, Yingying Chen, Hao Li, Ming Tang, Jinqiao Wang

分类: cs.CV, cs.LG

发布日期: 2024-04-21 (更新: 2026-02-28)

备注: Accepted by ACM MM 2024

🔗 代码/项目: GITHUB

💡 一句话要点

提出FiLo以解决零样本异常检测中的描述与定位问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 零样本异常检测 细粒度描述 高质量定位 多模态交互 大语言模型 图像处理 异常检测

📋 核心要点

  1. 现有ZSAD方法依赖于通用的文本描述，难以精确匹配不同类别的异常，导致检测效果不佳。
  2. FiLo通过细粒度描述和高质量定位两个模块，利用大语言模型和多尺度交互技术，提升异常检测的准确性和可解释性。
  3. 在VisA数据集上，FiLo实现了83.9%的图像级AUC和95.9%的像素级AUC，显著优于现有方法，达到最新的性能水平。

📝 摘要（中文）

零样本异常检测（ZSAD）方法旨在无需已知正常或异常样本的情况下直接检测异常。现有方法通常依赖于多模态预训练模型的强大泛化能力，通过计算手工制作的文本特征与图像特征之间的相似性来检测异常并定位异常区域。然而，通用的“异常”描述往往无法精确匹配不同物体类别中的多样化异常类型。此外，单个补丁的特征相似性计算难以准确定位不同大小和尺度的异常。为了解决这些问题，本文提出了一种新颖的ZSAD方法FiLo，包含自适应学习的细粒度描述（FG-Des）和位置增强的高质量定位（HQ-Loc）两个组件。实验结果表明，FiLo在MVTec和VisA数据集上显著提升了ZSAD的检测和定位性能。

🔬 方法详解

问题定义：本文旨在解决零样本异常检测中，现有方法在描述和定位异常时的不足，尤其是通用描述无法适应多样化异常类型的问题。

核心思路：FiLo的核心思路是通过细粒度描述和高质量定位来提高异常检测的准确性，利用大语言模型生成适应性文本描述，并结合多模态交互技术进行精确定位。

技术框架：FiLo的整体架构包括两个主要模块：细粒度描述（FG-Des）和高质量定位（HQ-Loc）。FG-Des生成针对每个类别的细粒度异常描述，而HQ-Loc则通过Grounding DINO进行初步定位，并结合位置增强的文本提示和多尺度多形状交互模块实现精确定位。

关键创新：FiLo的主要创新在于引入了自适应学习的细粒度描述和位置增强的高质量定位，显著提升了对不同大小和形状异常的检测能力，与传统方法相比，能够更好地处理复杂的异常情况。

关键设计：在设计中，FG-Des使用了适应性学习的文本模板，HQ-Loc则采用了多尺度多形状交互模块，确保了对各种异常的准确定位，同时在损失函数和网络结构上进行了优化，以提高模型的整体性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

FiLo在VisA数据集上实现了83.9%的图像级AUC和95.9%的像素级AUC，显著优于现有方法，展示了其在零样本异常检测中的强大性能，标志着该领域的最新进展。

🎯 应用场景

该研究具有广泛的应用潜力，尤其在工业检测、医疗影像分析和安全监控等领域。FiLo能够在没有已知样本的情况下有效检测异常，提升了自动化检测系统的可靠性和智能化水平，未来可能推动更多领域的智能监控和异常检测技术的发展。

📄 摘要（原文）

Zero-shot anomaly detection (ZSAD) methods entail detecting anomalies directly without access to any known normal or abnormal samples within the target item categories. Existing approaches typically rely on the robust generalization capabilities of multimodal pretrained models, computing similarities between manually crafted textual features representing "normal" or "abnormal" semantics and image features to detect anomalies and localize anomalous patches. However, the generic descriptions of "abnormal" often fail to precisely match diverse types of anomalies across different object categories. Additionally, computing feature similarities for single patches struggles to pinpoint specific locations of anomalies with various sizes and scales. To address these issues, we propose a novel ZSAD method called FiLo, comprising two components: adaptively learned Fine-Grained Description (FG-Des) and position-enhanced High-Quality Localization (HQ-Loc). FG-Des introduces fine-grained anomaly descriptions for each category using Large Language Models (LLMs) and employs adaptively learned textual templates to enhance the accuracy and interpretability of anomaly detection. HQ-Loc, utilizing Grounding DINO for preliminary localization, position-enhanced text prompts, and Multi-scale Multi-shape Cross-modal Interaction (MMCI) module, facilitates more accurate localization of anomalies of different sizes and shapes. Experimental results on datasets like MVTec and VisA demonstrate that FiLo significantly improves the performance of ZSAD in both detection and localization, achieving state-of-the-art performance with an image-level AUC of 83.9% and a pixel-level AUC of 95.9% on the VisA dataset. Code is available at https://github.com/CASIA-IVA-Lab/FiLo.