GenAU: Language-Grounded Industrial Anomaly Understanding with Vision-Language Models
作者: Hongkuan Zhou, Tristan Rehm, Nadeem Nazer, Lavdim Halilaj, Jingcheng Wu, Steffen Staab
分类: cs.CV
发布日期: 2026-07-01
💡 一句话要点
提出GenAU以解决工业异常检测的多任务理解问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 工业检测 异常检测 视觉-语言模型 多任务学习 像素级分割 缺陷分析 CLIP
📋 核心要点
- 现有方法在异常检测中仅能提供二元判断，缺乏对缺陷类型和位置的全面理解。
- GenAU通过引入分割标记和多任务学习，统一了异常检测、定位和缺陷分析，提升了模型的语言理解能力。
- 在跨数据集基准测试中，GenAU在图像级检测上超越了现有的CLIP基线，显示出显著的性能提升。
📝 摘要（中文）
工业检测不仅需要二元异常检测，实际系统应能判断异常是否存在、定位缺陷区域、识别缺陷类型并提供可解释的视觉证据。现有基于CLIP的方法在异常检测和定位方面表现良好，但在语言层面的缺陷理解上有限，而经过指令调优的视觉-语言模型能够描述缺陷，但不具备生成像素级掩码的能力。我们提出GenAU，一个通用的视觉-语言框架，统一了图像级检测、像素级分割、多类型异常检测和缺陷分析于一个指令跟随模型中。GenAU通过两个分割标记[SEG_defect]和[SEG_normal]增强视觉-语言模型，其隐藏状态作为多尺度视觉特征的语言基础查询，实现像素级定位。经过联合语言建模和分割目标的训练，GenAU在一个架构和配方中覆盖了所有四个任务，增加了零-shot多类型检测和语言基础的缺陷分析，代价可量化。跨数据集基准测试中，GenAU在VisA和Real-IAD上实现了CLIP基于零-shot方法中最强的图像级检测，分割性能接近但未超越专门的CLIP基线。
🔬 方法详解
问题定义：论文要解决工业检测中对异常的全面理解问题，现有方法在语言层面缺乏对缺陷的深入分析，无法同时处理检测、定位和分析任务。
核心思路：论文提出的GenAU框架通过引入两个分割标记，结合视觉-语言模型，能够在一个模型中实现多任务处理，提升了对缺陷的理解和定位能力。
技术框架：GenAU的整体架构包括图像级检测模块、像素级分割模块和语言解码模块。图像级得分与分割图结合，生成缺陷的结构化响应。
关键创新：GenAU的主要创新在于将图像级检测与像素级分割结合在一个模型中，且通过语言基础的查询实现对多尺度视觉特征的有效利用，区别于传统方法的单一任务处理。
关键设计：模型采用联合语言建模和分割目标的训练策略，设置了特定的损失函数以平衡检测与分割任务的性能，同时设计了适应多类型缺陷的分割标记。
🖼️ 关键图片
📊 实验亮点
在跨数据集基准测试中，GenAU在VisA和Real-IAD上实现了最强的图像级检测性能，超越了现有的CLIP基于零-shot方法。尽管分割性能接近但未超越专门的CLIP基线，显示出其在多任务处理上的潜力。
🎯 应用场景
GenAU的研究成果可广泛应用于工业检测领域，尤其是在制造业和质量控制中。通过提供更全面的异常理解，能够提高生产效率，降低缺陷率，进而提升产品质量。未来，该技术还可能扩展到其他需要视觉-语言理解的领域，如自动驾驶和智能监控。
📄 摘要（原文）
Industrial inspection requires more than binary anomaly detection: a practical system should determine whether an anomaly exists, localize the defective region, identify the defect type, and provide interpretable visual evidence. Existing CLIP-based methods detect and localize anomalies well but offer limited language-level defect understanding, while instruction-tuned vision-language models can describe defects but do not natively produce pixel-level masks. We introduce GenAU, a Generalist vision-language framework for industrial Anomaly Understanding that unifies image-level detection, pixel-level segmentation, multi-type anomaly detection, and defect analysis in a single instruction-following model. GenAU augments a vision-language model with two segmentation tokens, [SEG_defect] and [SEG_normal], whose hidden states act as language-grounded queries over multi-scale visual features for pixel-level localization; the image-level score fuses this map with the decoder's textual normal/defect decision, while the language decoder produces structured defect-aware responses. Trained with a joint language-modeling and segmentation objective, GenAU covers all four tasks within one architecture and recipe, adding zero-shot multi-type detection and language-grounded defect analysis at a quantified cost to detection and segmentation. Across cross-dataset benchmarks, GenAU attains the strongest image-level detection among CLIP-based zero-shot methods on VisA and Real-IAD, with segmentation approaching but not surpassing specialized CLIP baselines.