Rethinking Auxiliary Modalities in Multimodal Zero-shot Anomaly Detection: From Semantic Fusion to Conditional Modulation

📄 arXiv: 2608.13973v1 📥 PDF

作者: Peng Wu, Xin Ge, Yujia Sun, Guansong Pang

分类: cs.CV

发布日期: 2026-08-14

💡 一句话要点

提出辅助条件增强框架以解决多模态零-shot异常检测问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态融合 零-shot学习 异常检测 条件调制 元学习 计算机视觉 深度学习

📋 核心要点

  1. 现有的多模态零-shot异常检测方法在处理几何变形和细微变化时存在局限性，难以充分利用辅助模态的信息。
  2. 本文提出了一种辅助条件增强框架，通过条件信号细化RGB特征，避免了直接融合带来的语义干扰。
  3. 在MVTec 3D-AD和Eyecandies数据集上的实验表明，该框架显著提升了多种RGB基础零-shot异常检测器的性能，达到了最先进的水平。

📝 摘要（中文）

近年来，基于基础模型的方法通过视觉-语言预训练赋予RGB图像强大的零-shot异常检测能力。然而，仅依靠RGB观察在感知几何变形、深度变化或细微表面变化的异常时仍然存在局限性。辅助模态可以提供互补的结构信息，但现有的多模态方法通常将其直接融合到共享的语义空间中，这可能会干扰RGB基础模型建立的文本对齐异常语义，并且通常需要特定于模态的架构。为了解决这一问题，本文提出了一种即插即用的辅助条件增强框架，通过将辅助观察作为RGB特征细化的条件信号，保留原始的RGB图像-文本异常匹配路径，从而实现无缝增强现有的基于RGB的零-shot异常检测器。实验结果表明，该框架在多个流行的RGB基础零-shot异常检测器上均表现出显著提升。

🔬 方法详解

问题定义：本文旨在解决现有多模态零-shot异常检测方法在处理几何变形和细微表面变化时的局限性。现有方法通常将辅助模态直接融合到共享语义空间中，导致语义干扰和架构复杂性。

核心思路：论文提出的框架通过保留RGB图像-文本的异常匹配路径，利用辅助模态作为条件信号来细化RGB特征，从而实现增强效果。这种设计避免了重建联合多模态语义空间的复杂性。

技术框架：整体架构包括一个轻量级的元学习模块，该模块接收全局RGB和辅助表示作为输入，生成样本自适应的低秩残差更新。此外，构建了不确定性感知的空间调制，从初始RGB异常响应和辅助可靠性中确定局部残差更新的强度。

关键创新：最重要的创新点在于通过条件调制实现选择性多模态增强，同时保持原始RGB异常语义的完整性。这与现有方法的直接融合方式形成了鲜明对比。

关键设计：关键设计包括元学习模块的结构和参数设置，以及不确定性感知调制的实现细节。这些设计确保了框架的高效性和适应性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在MVTec 3D-AD和Eyecandies数据集上的实验结果显示，提出的框架在多个流行的RGB基础零-shot异常检测器上均实现了显著提升，达到了最先进的性能水平，具体提升幅度超过了XX%。

🎯 应用场景

该研究的潜在应用领域包括工业缺陷检测、医疗影像分析和安全监控等场景。通过增强RGB图像的异常检测能力，能够提高系统对复杂异常的识别率，进而提升产品质量和安全性。未来，该方法有望在更多实际应用中得到推广，推动相关领域的技术进步。

📄 摘要（原文）

Recent foundation model-based methods have endowed RGB images with strong zero-shot anomaly detection (ZSAD) through vision-language pretraining. However, RGB observations alone remain limited in perceiving anomalies dominated by geometric deformation, depth variation, or subtle surface changes. Auxiliary modalities can provide complementary structural information, but existing multimodal methods typically fuse them directly into a shared semantic space, which may disturb the text-aligned anomaly semantics established by RGB foundation models and often requires modality-specific architectures. To address this issue, we propose a plug-and-play auxiliary-conditioned enhancement framework for zero-shot anomaly detection. Instead of reconstructing a joint multimodal anomaly semantic space, our framework preserves the original RGB image-text anomaly matching pathway and uses auxiliary observations as conditional signals for RGB feature refinement, allowing auxiliary modalities to seamlessly enhance existing RGB-based zero-shot anomaly detectors. Specifically, a lightweight meta-learning module takes global RGB and auxiliary representations as input and generates sample-adaptive low-rank residual updates to determine how RGB features should be refined. We further construct uncertainty-aware spatial modulation from the initial RGB anomaly response and auxiliary reliability, which determines where local residual updates are strengthened or suppressed. This global-to-local conditional modulation enables selective multimodal enhancement while preserving the original RGB anomaly semantics. Extensive experiments on MVTec 3D-AD and Eyecandies demonstrate that our framework consistently improves multiple popular RGB-based zero-shot anomaly detectors, achieving state-of-the-art performance for multimodal zero-shot anomaly detection.