Mining experimental data from Materials Science literature with Large Language Models: an evaluation study
作者: Luca Foppiano, Guillaume Lambard, Toshiyuki Amagasa, Masashi Ishii
分类: cs.CL
发布日期: 2024-01-19 (更新: 2024-05-30)
备注: 40 pages: 5 figures and 1 table in the body. 32 Tables in the Appendix / Supplementary materials
期刊: Science and Technology of Advanced Materials: Methods (2024)
DOI: 10.1080/27660400.2024.2356506
💡 一句话要点
评估大语言模型在材料科学文献中提取实验数据的能力
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大语言模型 材料科学 信息提取 命名实体识别 关系提取 超导体研究 数据集评估
📋 核心要点
- 现有方法在材料科学领域缺乏足够的数据集，导致信息提取任务的效果不理想。
- 论文提出了一种新方法，通过标准化化学公式来分析复杂材料表达，提升信息提取的准确性。
- 实验结果显示，GPT-3.5-Turbo在关系提取任务中表现优于所有基线模型，而GPT-4和GPT-4-Turbo在无微调情况下也展现出良好的推理能力。
📝 摘要（中文）
本研究旨在评估大语言模型（LLMs），如GPT-3.5-Turbo、GPT-4和GPT-4-Turbo，在材料科学科学文献中提取结构化信息的能力。我们主要关注信息提取的两个关键任务：命名实体识别（NER）和实体间关系提取（RE）。由于材料信息学（MI）领域数据集的缺乏，我们使用了基于超导体研究的SuperMat和通用测量评估语料库MeasEval进行评估。结果表明，尽管LLMs在连接概念方面表现出一定的推理能力，但在提取复杂领域特定实体时，专门模型仍然是更好的选择。这些发现为未来其他材料科学子领域的研究提供了初步指导。
🔬 方法详解
问题定义：本研究解决的是如何从材料科学文献中有效提取结构化信息的问题。现有方法在命名实体识别和关系提取任务上表现不佳，尤其是在缺乏专门数据集的情况下。
核心思路：论文的核心思路是利用大语言模型的推理能力，通过标准化化学公式来简化材料信息的提取过程，从而提高提取的准确性和效率。
技术框架：整体架构包括两个主要模块：命名实体识别（NER）和关系提取（RE）。NER用于识别材料及其物理属性，而RE则用于提取这些实体之间的关系。
关键创新：最重要的技术创新在于提出了一种新的比较分析方法，强调化学公式的标准化，以应对材料科学信息评估中的复杂性。这与传统方法的本质区别在于其针对性和灵活性。
关键设计：在NER任务中，LLMs在零样本提示下未能超越基线模型，而在少样本提示下仅有有限提升。RE任务中，经过适当策略微调的GPT-3.5-Turbo表现优异，且GPT-4和GPT-4-Turbo在无微调情况下也展现出良好的关系提取能力。
🖼️ 关键图片
📊 实验亮点
实验结果显示，GPT-3.5-Turbo在关系提取任务中超越了所有基线模型，而GPT-4和GPT-4-Turbo在仅提供少量示例的情况下，展现出显著的推理和关系提取能力，均超过了基线表现。这表明大语言模型在材料科学领域的应用潜力。
🎯 应用场景
该研究的潜在应用领域包括材料科学文献的自动化信息提取、材料数据库的构建以及材料性能预测等。通过提高信息提取的准确性，能够加速材料研究的进展，并为相关领域的研究人员提供更为高效的工具和方法。未来，这一方法也可扩展至其他科学领域的信息提取任务。
📄 摘要（原文）
This study is dedicated to assessing the capabilities of large language models (LLMs) such as GPT-3.5-Turbo, GPT-4, and GPT-4-Turbo in extracting structured information from scientific documents in materials science. To this end, we primarily focus on two critical tasks of information extraction: (i) a named entity recognition (NER) of studied materials and physical properties and (ii) a relation extraction (RE) between these entities. Due to the evident lack of datasets within Materials Informatics (MI), we evaluated using SuperMat, based on superconductor research, and MeasEval, a generic measurement evaluation corpus. The performance of LLMs in executing these tasks is benchmarked against traditional models based on the BERT architecture and rule-based approaches (baseline). We introduce a novel methodology for the comparative analysis of intricate material expressions, emphasising the standardisation of chemical formulas to tackle the complexities inherent in materials science information assessment. For NER, LLMs fail to outperform the baseline with zero-shot prompting and exhibit only limited improvement with few-shot prompting. However, a GPT-3.5-Turbo fine-tuned with the appropriate strategy for RE outperforms all models, including the baseline. Without any fine-tuning, GPT-4 and GPT-4-Turbo display remarkable reasoning and relationship extraction capabilities after being provided with merely a couple of examples, surpassing the baseline. Overall, the results suggest that although LLMs demonstrate relevant reasoning skills in connecting concepts, specialised models are currently a better choice for tasks requiring extracting complex domain-specific entities like materials. These insights provide initial guidance applicable to other materials science sub-domains in future work.