DifferAD-R1: A Difference-Guided IndustrialAnomaly Localization with Multimodal LargeLanguage Models
作者: Dingrong Wang, Xian Tao, Zhen Qu, Hengliang Luo, Xinyi Gong, Fei Shen, Zhengtao Zhang, Guiguang Ding
分类: cs.CV
发布日期: 2026-06-15
备注: Submitted to IEEE Transactions on Circuits and Systems for Video Technology
🔗 代码/项目: GITHUB
💡 一句话要点
提出DifferAD-R1以解决工业异常定位中的未见缺陷检测问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 工业异常定位 多模态大语言模型 强化学习 差异引导 双一致性奖励 难度感知策略 图像处理 缺陷检测
📋 核心要点
- 现有方法在工业异常定位中面临未见缺陷检测的挑战，传统方法跨场景泛化能力不足。
- 本文提出DifferAD-R1，通过差异引导的双图像范式，将定位任务转化为一次性差异定位问题，提升了异常检测能力。
- 实验结果显示，DifferAD-R1在多个基准测试中显著超越现有方法，并与大型模型的性能相当。
📝 摘要（中文）
工业异常定位旨在准确识别和定位工业产品中的异常区域，解决在现实场景中检测未见缺陷类别的关键挑战。传统的封闭集方法在跨场景泛化能力上表现不佳，而现有的多模态大语言模型（MLLM）方法存在两个核心局限：要么采用与定位实际需求不符的问答风格，要么依赖标准优化技术如群体相对策略优化（GRPO），未能有效学习微小缺陷。为此，本文提出了DifferAD-R1，一个针对工业异常定位的MLLM增强强化学习框架。我们设计了一个差异引导的双图像范式，将定位任务重新表述为一次性差异定位问题，以有效探索跨场景异常。通过开发双一致性定位奖励，增强了对难以检测异常的优化稳定性和鲁棒性。此外，我们还集成了一种难度感知策略，通过自适应重加权和组内重采样来优先学习具有挑战性的实例。实验结果表明，DifferAD-R1显著优于现有基线，并在与大规模模型如Qwen3-VL（235B参数）比较时表现出竞争力。
🔬 方法详解
问题定义：本文旨在解决工业异常定位中的未见缺陷检测问题。现有方法在跨场景泛化能力上表现不佳，且无法有效处理微小缺陷的检测。
核心思路：DifferAD-R1通过差异引导的双图像范式，将定位任务重新定义为一次性差异定位问题，以更好地探索和识别跨场景的异常。
技术框架：该框架包括多个模块，首先是双图像输入模块，接着是差异引导的定位模块，最后是基于双一致性奖励的强化学习优化模块。
关键创新：最重要的创新在于提出了双一致性定位奖励机制，增强了对难以检测异常的优化稳定性和鲁棒性，这与现有方法的标准优化技术有本质区别。
关键设计：在设计中，采用了自适应重加权和组内重采样策略，以优先学习具有挑战性的实例，确保模型在复杂场景中的有效性。损失函数和网络结构经过精心设计，以适应差异引导的定位任务。
🖼️ 关键图片
📊 实验亮点
实验结果表明，DifferAD-R1在多个基准测试中显著超越现有方法，尤其在难以检测的异常上表现出色，提升幅度达到XX%（具体数据未知）。与大型模型Qwen3-VL相比，其性能具有竞争力，展示了该方法的有效性。
🎯 应用场景
该研究具有广泛的应用潜力，尤其在制造业、质量控制和自动化检测等领域。通过提高异常检测的准确性和鲁棒性，DifferAD-R1能够帮助企业减少生产损失，提高产品质量，具有显著的实际价值和未来影响。
📄 摘要（原文）
Industrial anomaly localization aims to accurately identify and localize abnormal regions in industrial products, addressing the critical challenge of detecting unseen defect categories in real-world scenarios. Traditional closed-set methods often suffer from poor cross-scenario generalization, while existingMultimodal Large Language Model (MLLM)-based approachesface two core limitations: they either adopt QA-style paradigmsmisaligned with the practical demands of localization, or relyon standard optimization techniques such as Group RelativePolicy Optimization (GRPO), which fails to deliver effectivelearning signals for subtle defects. To tackle these issues, thispaper proposes DifferAD-R1, an MLLM-augmented reinforcement learning framework tailored for industrial anomaly localization. We design a Difference-Guided dual-image paradigm,which reformulates the localization task as a one-shot difference grounding problem to effectively explore cross-scenarioanomalies. A Dual-Consistency Localization Reward is developedfor hard-to-detect anomalies, enhancing optimization stabilityand robustness. Additionally, we integrate a difficulty-awarestrategy with adaptive reweighting and group-wise resamplingto prioritize learning on challenging instances. To facilitateevaluations in real-world industrial settings, we construct theAD-DualDiff dataset, comprising 13K paired images across 20categories. Experimental results demonstrate that DifferADR1 significantly outperforms existing baselines and achievescompetitive performance compared to large-scale models likeQwen3-VL (235B parameters). Our code is publicly availableat: https://github.com/Rong2026/work-1.