PL-SCEA: Reconfiguring Pretrained Attention for Few-Shot Industrial Anomaly Detection

📄 arXiv: 2609.03655v1 📥 PDF

作者: Xiaoyu Yang, Qixing Wu, Huixian Zhao, Changlong Jin

分类: cs.CV

发布日期: 2026-09-03

💡 一句话要点

提出PL-SCEA以解决工业异常检测中的注意力计算问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 工业异常检测 视觉基础模型 注意力机制 少样本学习 变分自编码器 自相关增强

📋 核心要点

  1. 现有的视觉基础模型在工业异常检测中，注意力计算与语义聚合目标不匹配，导致异常定位能力不足。
  2. 提出PL-SCEA，通过重新配置冻结VFM的注意力计算，增强异常检测的任务相关性，构建令牌自适应自相关。
  3. 在MVTec AD和VisA数据集上，PL-SCEA实现了图像级检测的竞争性表现和像素级定位的显著提升。

📝 摘要（中文）

视觉基础模型（VFM）为少样本工业异常检测提供了可转移的补丁表示，但其注意力计算通常继承自以语义聚合为中心的预训练目标。这导致了潜在的不匹配：支持语义识别的令牌关系可能无法充分暴露异常定位所需的局部纹理和结构偏差。因此，本文探讨了将冻结的VFM的注意力计算重新配置为异常检测的任务相关组件的假设。我们提出了功率律自相关增强注意力（PL-SCEA），在保留预训练查询-键注意力的语义上下文的同时，构建了基于上下文化值特征的令牌自适应自相关。正相关过滤和功率律重加权强调了相对于每个令牌的关系背景的显著关系。实验结果表明，PL-SCEA在MVTec AD和VisA数据集上实现了竞争性的图像级检测和一致强的像素级定位。

🔬 方法详解

问题定义：本文旨在解决现有视觉基础模型在工业异常检测中注意力计算与任务需求不匹配的问题。现有方法主要集中于语义聚合，未能有效捕捉局部纹理和结构偏差，影响异常定位能力。

核心思路：论文提出的PL-SCEA通过重新配置冻结的VFM的注意力计算，使其更适应异常检测任务。该方法保留了预训练的语义上下文，同时构建了基于上下文化值特征的令牌自适应自相关，以增强对异常的敏感性。

技术框架：整体架构分为两个阶段：第一阶段是注意力重新配置，第二阶段是基于重建的建模。注意力重新配置通过正相关过滤和功率律重加权来强调显著关系，而重建模型则将偏差转换为异常分数。

关键创新：PL-SCEA的主要创新在于其无需引入额外的可训练注意力投影，通过自相关增强注意力计算，显著提升了异常定位能力。这一设计与传统方法的本质区别在于其任务对齐的注意力机制。

关键设计：在设计中，PL-SCEA采用了正相关过滤和功率律重加权策略，以确保令牌关系的显著性。同时，使用轻量级变分自编码器（VAE）进行重建建模，提供类别特定的正常性表示。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在MVTec AD和VisA数据集上，PL-SCEA实现了竞争性的图像级检测性能，并在像素级定位上表现出一致的强度。在少样本设置下，PL-SCEA的定位能力显著优于基线方法，验证了任务对齐的注意力重新配置的有效性。

🎯 应用场景

该研究的潜在应用领域包括工业监控、质量控制和故障检测等。通过提高异常检测的准确性和效率，PL-SCEA能够帮助企业及时发现和处理生产过程中的异常情况，从而降低损失并提高生产效率。未来，该方法还可以扩展到其他领域，如医疗影像分析和智能监控等。

📄 摘要（原文）

Vision Foundation Models (VFMs) provide transferable patch representations for few-shot industrial anomaly detection, but their attention computation is typically inherited from pretraining objectives centered on semantic aggregation. This creates a potential mismatch: token relations that support semantic recognition may not adequately expose the localized texture and structural deviations required for anomaly localization. We therefore investigate the hypothesis that the attention computation of a frozen VFM can be reconfigured as a task-relevant component of anomaly detection. We instantiate this idea with Power-Law Self-Correlation Enhanced Attention (PL-SCEA), which retains the semantic context of pretrained query-key attention while constructing token-adaptive self-correlations over contextualized value features. Positive-correlation filtering and power-law reweighting then emphasize relations that are salient relative to each token's relational background, without introducing additional trainable attention projections. The resulting features are modeled by a lightweight variational autoencoder that provides a fixed-size reconstruction-based representation of category-specific normality. The two stages serve complementary roles: attention reconfiguration shapes how local relational deviations are represented, while reconstruction-based modeling converts deviations from learned normality into anomaly scores. Across MVTec AD and VisA, the complete framework achieves competitive image-level detection and consistently strong pixel-level localization across the evaluated few-shot settings. Ablations further show that PL-SCEA improves localization with either the VAE or a memory bank under the tested setting. These results support the view that task-aligned attention reconfiguration can improve the anomaly-localization capability of frozen pretrained representations.