Unlocking the Visual Record of Materials Science: A Large-Scale Multimodal Dataset from Scientific Literature
作者: Subham Ghosh, Shubham Tiwari, Mohammad Ibrahim, Abhishek Tewari
分类: cs.CV, cond-mat.mtrl-sci, cs.AI
发布日期: 2026-06-29
💡 一句话要点
提出MatMMExtract以解决材料科学文献中的视觉信息提取问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 材料科学 多模态数据集 图像-文本配对 视觉信息提取 深度学习
📋 核心要点
- 现有材料科学文献中的图形通常是复合型的，单一标题难以准确描述多个子面板，导致图像-文本配对不可靠。
- 论文提出MatMMExtract，通过分解复合图形并生成结构化注释，利用大型语言模型和材料科学分类法来解决这一问题。
- 在实验中，MatMMExtract生成的面板级图像-文本对显著提高了检索性能，R@1指标较零样本CLIP提升了4.4倍。
📝 摘要（中文）
材料科学文献中蕴含了数十年的实验知识，然而这些视觉记录由于结构复杂性而难以被AI有效利用。本文提出了MatMMExtract，一个端到端的开源管道，通过将复合图形分解为单独的子面板，并利用大型语言模型生成结构化注释，从而解决了这一问题。该方法应用于14,810篇开放获取文章，生成了391,606个面板级图像-文本对，提供了详细的注释和科学摘要，显著提高了视觉-语言学习的效率。
🔬 方法详解
问题定义：本文旨在解决材料科学文献中复合图形的视觉信息提取问题。现有方法由于图形结构复杂，导致图像与文本的直接配对不可靠，限制了AI的应用。
核心思路：论文的核心思路是通过分解复合图形为独立的子面板，并利用大型语言模型生成结构化的注释，从而实现更准确的图像-文本配对。这样的设计可以有效利用材料科学领域的知识，提升数据的可用性。
技术框架：整体架构包括两个主要模块：MatMMExtract用于图形分解和注释生成，MaterialScope用于面板定位。MatMMExtract处理14,810篇文章，生成391,606个面板级图像-文本对，MaterialScope则提供了2,811个手动标注的材料科学图形数据集。
关键创新：最重要的技术创新在于将复合图形分解为子面板，并结合材料科学分类法生成结构化注释。这一方法与传统的图像-文本配对方法本质上不同，能够更好地适应科学文献的复杂性。
关键设计：在参数设置上，使用了经过微调的YOLO12-m检测器，达到0.9227的mAP_50。此外，Gemini 3.1 Flash Lite语言模型在注释生成中表现最佳，82%的输出被评为良好，幻觉率为4.8%。
🖼️ 关键图片
📊 实验亮点
实验结果显示，使用MatSciFig数据集的双编码器检索基线在R@1指标上较零样本CLIP提升了4.4倍，表明该数据集在视觉-语言学习中的直接应用价值。此外，YOLO12-m检测器在材料科学图形的定位任务中取得了0.9227的mAP_50，验证了方法的有效性。
🎯 应用场景
该研究的潜在应用领域包括材料科学的知识发现、文献检索和数据挖掘。通过提供结构化的视觉信息，研究人员可以更高效地获取和利用材料科学领域的实验数据，推动相关技术的发展和创新。
📄 摘要（原文）
The materials science literature encodes decades of experimental knowledge in figures, yet this visual record remains locked away and inaccessible to AI at scale. The core difficulty is structural: most scientific figures are compound, with a single caption describing multiple sub-panels simultaneously, making direct image-text pairing unreliable. We present MatMMExtract, an end-to-end open-source pipeline that resolves this by decomposing compound figures into individual sub-panels and generating structured, grounded annotations using a large language model guided by a curated materials science taxonomy. Applied to 14,810 open-access articles, MatMMExtract produces MatSciFig; 391,606 panel-level image-text pairs from 180,571 figures, each annotated with a sub-caption, a two-level visualisation category spanning 19 classes and over 100 subtypes, and a scientific summary. To enable accurate panel localisation, we introduce MaterialScope, a domain-specific detection dataset of 2,811 manually annotated materials science figures, on which a fine-tuned YOLO12-m detector achieves mAP_50 of 0.9227. Among six benchmarked language models, Gemini 3.1 Flash Lite delivers the best cost-quality trade-off for annotation generation, with 82% of outputs rated good and a hallucination rate of 4.8%. A dual-encoder retrieval baseline on MatSciFig achieves a 4.4 times improvement in R@1 over zero-shot CLIP, demonstrating the dataset's immediate utility for vision-language learning. All resources are released openly to the community.