Zero-Shot Multi-Class Wafer Map Classification with Rule-Ordered Prompts for Large Multimodal Models
作者: Tianjian Cao, Jun Tao
分类: cs.AI
发布日期: 2026-10-26
备注: 7 pages, 4 figures, 4 tables. Preprint version
💡 一句话要点
提出无监督六类晶圆图缺陷分类框架以应对生产条件变化
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 晶圆图分类 无监督学习 多模态模型 缺陷检测 深度学习
📋 核心要点
- 现有的晶圆图缺陷分类方法依赖于大量标注数据，并在生产条件变化时需要重新训练，导致效率低下。
- 本文提出了一种无训练的六类分类框架，利用多种提示信息来增强冻结的大型多模态模型的分类能力。
- 在Mixed-WM38和WM811K数据集上，所提方法在准确率上显著优于传统方法，展示了良好的适应性和鲁棒性。
📝 摘要（中文）
晶圆图缺陷分类通常需要标注数据，并且在生产条件变化时需重新训练。本文提出了一种无训练的六类框架，结合了连通组件高亮、形态、位置和排除感知的提示，适用于冻结的大型多模态模型。在Mixed-WM38（6866张图）上，多区域提示实现了92.9%的宏观准确率和93.8%的整体准确率；在WM811K（9000张图）上，分别达到了79.1%和81.3%。采用八种替代规则顺序的实验结果显示，整体准确率在90.1%到91.9%之间，而选定顺序的准确率为93.8%。
🔬 方法详解
问题定义：本文旨在解决晶圆图缺陷分类中对标注数据的依赖和生产条件变化带来的重新训练问题。现有方法在这些方面存在效率低下和适应性不足的痛点。
核心思路：提出了一种无训练的六类分类框架，结合连通组件高亮与多种感知提示（形态、位置、排除），以增强冻结的大型多模态模型的分类能力。
技术框架：整体架构包括数据预处理、提示生成、模型推理和结果输出四个主要模块。通过多区域提示，模型能够更好地理解和分类不同类型的缺陷。
关键创新：最重要的创新在于引入了规则有序的提示机制，使得模型在无训练的情况下仍能实现高准确率。这一设计与传统依赖大量标注数据的训练方法本质上不同。
关键设计：在提示生成中，采用了多种规则顺序，实验表明不同顺序对模型性能有显著影响，选定的顺序实现了93.8%的整体准确率。
🖼️ 关键图片
📊 实验亮点
在Mixed-WM38数据集上，所提方法实现了92.9%的宏观准确率和93.8%的整体准确率；在WM811K数据集上，分别达到了79.1%和81.3%。与传统方法相比，采用不同规则顺序的实验结果显示，整体准确率在90.1%到91.9%之间，充分验证了所提方法的有效性。
🎯 应用场景
该研究的潜在应用领域包括半导体制造、质量控制和自动化检测等。通过减少对标注数据的依赖，能够显著提高生产效率，并降低人工成本。未来，该方法有望推广至其他领域的缺陷检测和分类任务，具有广泛的实际价值。
📄 摘要（原文）
Wafer-map defect classification often requires labeled data and retraining when production conditions change. We present a training-free six-class framework that combines connected-component highlighting with morphology-, location-, and exclusion-aware prompts for a frozen large multimodal model. On Mixed-WM38 (6,866 maps), multi-region prompting achieves 92.9% macro and 93.8% overall accuracy. On WM811K (9,000 maps), it achieves 79.1% and 81.3%, respectively. Eight alternative rule orders achieve 90.1-91.9% overall accuracy, compared with 93.8% for the selected order.