ADOPD: Reference-Privileged On-Policy Distillation for MLLM-Based Industrial Anomaly Detection

📄 arXiv: 2608.09789v1 📥 PDF

作者: Jingtai He, Shiyuan Meng, Wenchao Meng, Qinmin Yang

分类: cs.CV

发布日期: 2026-08-10

🔗 代码/项目: GITHUB

💡 一句话要点

提出ADOPD框架以解决工业异常检测中的参考依赖问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 工业异常检测 多模态大语言模型 在线蒸馏 参考感知 细粒度学习

📋 核心要点

  1. 现有的工业异常检测方法在处理细微偏差时面临挑战，尤其是依赖于外部参考进行准确识别。
  2. ADOPD框架通过在训练阶段利用参考信息，允许教师模型指导学生模型，从而实现更有效的学习。
  3. 实验结果显示，ADOPD在MMAD基准上取得了77.31%的准确率，显著提升了模型性能，展示了其有效性。

📝 摘要（中文）

工业异常检测（IAD）需要识别与正常视觉模式的细微偏差。多模态大语言模型（MLLMs）通过在推理时将查询图像与参考进行比较来提高识别准确性，但这依赖于额外的检索和处理。我们研究了是否可以将参考比较的好处内化到模型参数中。通过在训练期间访问参考，参考感知教师可以监督仅查询的学生。然而，教师可能更倾向于基于查询线索或语言先验生成合理的响应，而非有效的视觉信息。我们提出了ADOPD，一个参考特权的在线蒸馏框架。该框架通过匹配和不匹配的参考评估学生生成的结果，定义了学生应学习的方向，并通过参考视图之间的可能性差距来校准序列级权重。ADOPD在零-shot推理下在MMAD基准上实现了77.31%的平均准确率，较Qwen3-VL-4B骨干网络提升了6.14个百分点，并超越其一-shot设置2.64个百分点。实验表明，ADOPD能够从参考比较中学习细粒度的异常检查策略。

🔬 方法详解

问题定义：本论文旨在解决工业异常检测中对参考图像的依赖问题。现有方法通常需要在推理时进行额外的检索和处理，导致效率低下和准确性不足。

核心思路：论文提出的ADOPD框架通过在训练阶段将参考信息内化到模型参数中，使得教师模型能够指导学生模型，从而减少对外部参考的依赖。

技术框架：ADOPD框架主要包括两个模块：参考感知教师和查询学生。教师模型在训练时评估学生生成的结果，并通过匹配和不匹配的参考来指导学习方向。

关键创新：ADOPD的核心创新在于通过教师模型的匹配参考与不匹配参考评估学生的生成结果，定义了细粒度的学习方向。这种方法与传统的依赖外部参考的方式有本质区别。

关键设计：在损失函数设计上，ADOPD利用教师对学生生成结果的评估来定义学习方向，并通过参考视图之间的可能性差距来校准序列级权重，确保学生模型能够有效学习到参考信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

ADOPD在MMAD基准上实现了77.31%的平均准确率，相较于Qwen3-VL-4B骨干网络提升了6.14个百分点，并在一-shot设置中超越了2.64个百分点，展示了其在零-shot推理下的有效性和优势。

🎯 应用场景

该研究在工业异常检测领域具有广泛的应用潜力，尤其是在需要高效且准确识别细微偏差的场景中。ADOPD框架能够减少对外部参考的依赖，提高检测效率，具有实际价值。未来，该方法可能扩展到其他需要视觉模式识别的领域，如智能监控和自动化质量控制。

📄 摘要（原文）

Industrial anomaly detection (IAD) requires identifying fine-grained deviations from normal visual patterns. Multimodal large language models (MLLMs) can improve recognition accuracy by comparing query images with references at inference time, but these benefits rely on additional retrieval and processing. We investigate whether the benefits of reference comparison can instead be internalized in the model parameters. Access to references during training allows a reference-aware teacher to supervise a query-only student. However, the teacher may favor plausible responses based on query cues or language priors rather than valid visual information. We propose ADOPD, a reference-privileged on-policy distillation framework. The teacher evaluates student-generated rollouts under matched and mismatched references. The matched-reference teacher-to-student log-ratio defines the token-level learning direction, specifying what the student should learn. The likelihood gap between the two reference views estimates reference-specific support and calibrates the sequence-level weight. ADOPD achieves 77.31% average accuracy on the MMAD benchmark under zero-shot inference, improving the Qwen3-VL-4B backbone by 6.14 points and outperforming its one-shot setting by 2.64 points. Experiments show that ADOPD learns a fine-grained anomaly inspection strategy from reference comparison. The project will be available at https://github.com/withTai/ADOPD.