IndustryBench-MIPU: Benchmarking Multi-Image Attribute Value Extraction for Industrial Products
作者: Haonan Qi, Jin Cao, Yongqi Zhang, Xintong Wang, Weidong Tang, Bin Chen, Chengfu Huo, Haojun Pan, Hengyu You, Jing Li, Yingde Wang, Liang Ding
分类: cs.CV
发布日期: 2026-06-12
💡 一句话要点
提出IndustryBench-MIPU以解决工业产品多图像属性值提取问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态学习 属性提取 工业产品理解 图像处理 数据集构建 模型评估
📋 核心要点
- 现有方法在从多图像中提取工业产品属性时，面临信息散落和完整性不足的挑战。
- 论文提出IndustryBench-MIPU基准，通过结构化属性提取，整合多图像中的信息，提升属性恢复能力。
- 实验结果显示，尽管模型在单图像精度上表现良好（86-94%），但在产品级别属性恢复上仅为49.9%，多图像提取的召回率显著下降。
📝 摘要（中文）
工业产品如阀门和断路器的技术规格分散在多个异构图像中，包括规格表、铭牌和技术图纸。现有的多模态大语言模型（MLLMs）在可靠恢复这些信息方面尚未得到充分探索。为填补这一空白，本文提出了IndustryBench-MIPU，这是第一个针对多图像工业产品理解的大规模基准，专注于结构化属性提取。该基准涵盖了4,559种产品、27,652张图像和103,703个注释，评估了九种MLLMs在单图像和多图像设置下的表现，发现多图像完整性是主要瓶颈。
🔬 方法详解
问题定义：本文旨在解决从多张异构图像中提取工业产品属性值的具体问题。现有方法在处理信息散落和多图像整合时存在显著不足，导致属性恢复的完整性不足。
核心思路：论文的核心思路是通过构建IndustryBench-MIPU基准，专注于结构化属性提取，结合文本识别、视觉推理和领域知识，整合多图像中的信息，以提升属性恢复的完整性。
技术框架：整体架构包括数据收集、注释生成和模型评估三个主要阶段。数据集由4,559种产品和27,652张图像构成，采用多模型共识和三层质量保证进行构建。
关键创新：最重要的技术创新点在于首次提出了针对多图像工业产品理解的基准，强调了多图像完整性而非单图像准确性，揭示了现有模型在多图像提取中的不足。
关键设计：在模型设计中，采用了多模态融合技术，结合文本识别和视觉推理，设置了适应性损失函数以优化属性恢复，确保模型能够有效整合来自不同图像的信息。
📊 实验亮点
实验结果表明，尽管模型在单图像提取中表现出高达94%的精度，但在产品级别的属性恢复上仅达到49.9%。此外，从单图像到多图像提取的召回率下降幅度为15-34个百分点，突显了多图像完整性的重要性。
🎯 应用场景
该研究的潜在应用领域包括工业产品的自动化检测、智能采购系统和供应链管理等。通过提升多图像属性值提取的准确性，能够显著提高工业产品的兼容性和安全性，推动智能制造的发展。未来，该基准可能成为相关领域研究的标准参考，促进多模态学习技术的进步。
📄 摘要（原文）
Industrial products such as valves and circuit breakers are defined by dense technical specifications that govern procurement, compatibility, and safety across supply chains. These specifications are scattered across multiple heterogeneous product images, including specification tables, nameplates, and technical drawings, yet whether Multimodal Large Language Models (MLLMs) can reliably recover them remains underexplored. To fill this gap, we introduce IndustryBench-MIPU, the first large-scale benchmark for multi-image industrial product understanding, built around structured attribute extraction -- recovering property-value pairs from product images. This task jointly probes text recognition on specification tables and nameplates, visual reasoning over technical drawings, domain knowledge to decode industrial terminology, and cross-image evidence integration to assemble scattered specifications. Concretely, the benchmark comprises 4,559 products across 27,652 images with 103,703 annotations spanning 18 industrial categories, constructed through multi-model consensus and three-tier quality assurance. Evaluating nine MLLMs under both single-image and product-level multi-image settings reveals a stark completeness gap: models achieve high precision (86--94%) but the best recovers only 49.9% of product-level attributes; moving from single-image to multi-image extraction costs 15--34 percentage points of recall. Multi-image completeness, not single-image accuracy, is the core bottleneck. Dataset and code are publicly available.