CL-Flow:Strengthening the Normalizing Flows by Contrastive Learning for Better Anomaly Detection

📄 arXiv: 2311.06794v1 📥 PDF

作者: Shunfeng Wang, Yueyang Li, Haichi Luo, Chenyang Bi

分类: cs.IR, cs.CV, cs.LG

发布日期: 2023-11-12

备注: 6 pages,6 figures

💡 一句话要点

提出CL-Flow以解决无监督异常检测中样本稀缺问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 异常检测 自监督学习 对比学习 2D-Flow 深度学习 工业应用 图像处理

📋 核心要点

  1. 现有无监督异常检测方法忽视了异常样本中的重要先验信息，导致检测性能受限。
  2. 本文提出了一种结合对比学习与2D-Flow的自监督异常检测方法，以提高检测精度和推理速度。
  3. 实验结果显示，该方法在MVTecAD和BTAD数据集上分别达到了99.6%和96.8%的图像级AUROC，显著优于主流无监督方法。

📝 摘要（中文）

在异常检测领域，异常样本的稀缺使得研究重心转向无监督异常检测。尽管无监督方法方便，但忽视了异常样本中重要的先验信息。为此，本文提出了一种自监督异常检测方法，将对比学习与2D-Flow相结合，以实现更精确的检测结果和更快的推理过程。我们引入了一种新颖的异常合成方法，生成符合真实工业场景的异常样本及其代理注释。同时，通过对比学习增强2D-Flow框架，使网络能够从自生成标签中学习更精确的映射关系。与主流无监督方法相比，我们的方法在检测准确性、模型参数和推理速度上均表现优越，并在MVTecAD和BTAD数据集上取得了99.6%和96.8%的图像级AUROC。

🔬 方法详解

问题定义：本文旨在解决无监督异常检测中异常样本稀缺的问题，现有方法往往忽视了异常样本的先验信息，导致检测效果不佳。

核心思路：我们提出了一种自监督学习的方法，通过对比学习与2D-Flow结合，生成异常样本并利用这些样本进行网络训练，从而提高检测精度。

技术框架：整体架构包括异常合成模块和对比学习模块。异常合成模块生成符合真实场景的异常样本，而对比学习模块则通过多样的代理任务来微调网络。

关键创新：最大的创新在于将对比学习引入2D-Flow框架，使得网络能够从自生成的标签中学习更精确的映射关系，这与传统的无监督方法有本质区别。

关键设计：在参数设置上，我们优化了2D-Flow的网络结构，采用了特定的损失函数以增强对比学习的效果，确保了模型的轻量化特性。通过这些设计，模型在保持高效性的同时，提升了检测性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，提出的自监督方法在MVTecAD数据集上达到了99.6%的图像级AUROC，在BTAD数据集上达到了96.8%。与主流无监督方法相比，检测准确性显著提升，同时模型参数更少，推理速度更快，展示了新的最先进成果。

🎯 应用场景

该研究的潜在应用领域包括工业生产监控、网络安全和医疗图像分析等。通过提高异常检测的准确性和效率，能够帮助企业及时发现潜在问题，降低损失，提升生产效率。未来，该方法有望在更多实际场景中得到应用，推动异常检测技术的发展。

📄 摘要（原文）

In the anomaly detection field, the scarcity of anomalous samples has directed the current research emphasis towards unsupervised anomaly detection. While these unsupervised anomaly detection methods offer convenience, they also overlook the crucial prior information embedded within anomalous samples. Moreover, among numerous deep learning methods, supervised methods generally exhibit superior performance compared to unsupervised methods. Considering the reasons mentioned above, we propose a self-supervised anomaly detection approach that combines contrastive learning with 2D-Flow to achieve more precise detection outcomes and expedited inference processes. On one hand, we introduce a novel approach to anomaly synthesis, yielding anomalous samples in accordance with authentic industrial scenarios, alongside their surrogate annotations. On the other hand, having obtained a substantial number of anomalous samples, we enhance the 2D-Flow framework by incorporating contrastive learning, leveraging diverse proxy tasks to fine-tune the network. Our approach enables the network to learn more precise mapping relationships from self-generated labels while retaining the lightweight characteristics of the 2D-Flow. Compared to mainstream unsupervised approaches, our self-supervised method demonstrates superior detection accuracy, fewer additional model parameters, and faster inference speed. Furthermore, the entire training and inference process is end-to-end. Our approach showcases new state-of-the-art results, achieving a performance of 99.6\% in image-level AUROC on the MVTecAD dataset and 96.8\% in image-level AUROC on the BTAD dataset.