Enhancing Knowledge Entity Relation Extraction in Abstracts and Full-text Content of Academic Articles Using Large Language Models

📄 arXiv: 2610.41552v1 📥 PDF

作者: Yingyi Zhang, Chengzhi Zhang

分类: cs.CL, cs.DL, cs.IR

发布日期: 2026-10-30

期刊: Scientometrics, 2026

💡 一句话要点

利用大语言模型提升学术文章知识实体关系提取能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 知识实体关系提取 大语言模型 学术文章 模型优化 自然语言处理

📋 核心要点

  1. 现有的知识实体关系提取方法在处理学术文章时存在性能不足，尤其是在复杂关系和多样化数据集上表现不佳。
  2. 本研究提出了多种基于大语言模型的策略，包括LoRA适配的模型和SLM增强策略，以提升KERE的准确性和鲁棒性。
  3. 实验结果表明，LoRA适配的T5模型在摘要和全文数据集上分别达到了0.7408和0.7013的宏F1分数，显著提升了提取性能。

📝 摘要（中文）

本研究探讨了大型预训练语言模型（LLMs）在学术论文中进行知识实体关系提取（KERE）的有效性。现有研究主要关注单一类型的LLM策略，并使用精确度和召回率等指标评估模型性能。为提供更广泛的评估，本研究考察了多种策略，包括闭源LLM的链式提示、LoRA适配的开源LLM、LLM增强的小型预训练语言模型（SLMs）等。此外，研究还引入了两种新策略，评估了这些策略在不同角度的表现。实验结果显示，LoRA适配的T5模型在摘要和全文数据集上分别达到了0.7408和0.7013的宏F1分数，表明LLM生成的实体描述对SLMs有显著帮助。错误分析显示，LLM策略在减轻SLM错误方面的有效性因错误类型而异，并提出了多项优化方向。

🔬 方法详解

问题定义：本研究旨在解决现有知识实体关系提取方法在学术文章中表现不佳的问题，尤其是在复杂关系和多样化数据集上。现有方法往往依赖于单一策略，导致性能不足。

核心思路：论文提出了多种基于大语言模型的策略，结合闭源和开源LLM，以提升KERE的准确性和鲁棒性。通过引入SLM增强策略，旨在利用LLM的强大能力来改善小型模型的表现。

技术框架：整体架构包括多个模块：首先是数据集的构建，接着是不同策略的实施，包括闭源LLM的链式提示、LoRA适配的开源LLM等，最后是模型性能的评估与优化。

关键创新：本研究的创新点在于引入了多种LLM策略的组合，特别是SLM增强的开源和闭源LLM策略，显著提升了KERE的性能。这种组合策略在现有文献中尚属首次。

关键设计：在模型设计中，采用了LoRA适配技术，并对不同模型的参数进行了细致调优，确保在不同数据集上均能达到最佳性能。损失函数的选择和网络结构的设计也经过了多次实验验证。

📊 实验亮点

实验结果显示，LoRA适配的T5模型在摘要和全文数据集上分别达到了0.7408和0.7013的宏F1分数，显著优于传统方法，提升幅度明显。此外，SLM增强策略有效利用了LLM生成的实体描述，进一步改善了提取性能。

🎯 应用场景

该研究的潜在应用领域包括学术文献分析、信息检索和知识图谱构建等。通过提升知识实体关系提取的准确性，可以为研究人员提供更为精准的信息支持，促进学术研究的深入发展。未来，该方法还可以扩展到其他领域，如法律文书分析和医疗记录处理等，具有广泛的实际价值。

📄 摘要（原文）

This study investigates the effectiveness of large pre-trained language models (LLMs) for knowledge entity relation extraction (KERE) from academic papers. Existing studies have examined individual types of LLM-based strategies and evaluated model performance using metrics such as precision and recall. To provide a broader evaluation, this study investigates multiple strategies, including closed-source LLM-based CoT prompting, LoRA-adapted open-source LLMs, LLM-enhanced small pre-trained language models (SLMs), and SLM-enhanced closed-source LLMs. In addition, this study introduces two strategies, namely SLM-enhanced open-source LLMs and closed-source LLM-enhanced open-source LLMs. These strategies are evaluated from multiple perspectives, including metrics, their ability to mitigate errors observed in SLMs, and potential directions for model optimization. This study manually constructs two annotated datasets in the NLP domain, covering Abstract and Full-Text datasets. Experimental results show that the LoRA-adapted T5 model achieves the highest macro F1 scores of 0.7408 and 0.7013 on the Abstract and Full-Text datasets, respectively. SLMs also benefit from LLM-generated entity descriptions under the LLM-enhanced SLM strategy. Error analysis further reveals that the effectiveness of LLM-based strategies in mitigating SLM errors varies across error types. Based on the identified limitations and error patterns of these strategies, several optimization directions are proposed. In addition, combining strategies with different error patterns further improves KERE performance.