Instructed Language Models with Retrievers Are Powerful Entity Linkers

📄 arXiv: 2311.03250v1 📥 PDF

作者: Zilin Xiao, Ming Gong, Jie Wu, Xingyao Zhang, Linjun Shou, Jian Pei, Daxin Jiang

分类: cs.CL, cs.AI

发布日期: 2023-11-06

备注: Accepted to EMNLP 2023 Main

💡 一句话要点

提出INSGENEL以解决实体链接任务中的生成模型局限性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 实体链接 生成模型 知识库 指令调优 潜在提及检索器 机器学习 自然语言处理

📋 核心要点

  1. 现有的生成模型在实体链接任务中存在幻觉现象，导致实体预测不准确，难以满足需求。
  2. 本文提出INSGENEL，通过指令调优和轻量级检索器，提升语言模型在实体链接任务中的表现。
  3. 实验结果显示，INSGENEL在F1分数上平均提升6.8点，并在训练效率和计算消耗上具有明显优势。

📝 摘要（中文）

生成性大语言模型（LLMs）在复杂推理任务中展现出新兴能力，但由于其生成特性，导致生成内容存在幻觉现象，难以满足实体链接（EL）任务对精确实体预测的要求。本文提出了首个指令生成实体链接器（INSGENEL），使得语言模型能够在知识库上执行实体链接。我们提出了多种方法来增强语言模型的EL能力，包括基于指令调优的序列到序列训练目标，以及一种新颖的生成EL框架，利用轻量级潜在提及检索器，避免了繁重的解码过程，实现了4倍的速度提升而不影响链接指标。INSGENEL在性能上超越了以往生成方法，平均提升6.8个F1分数，并在训练数据效率和计算消耗上具有显著优势。

🔬 方法详解

问题定义：本文旨在解决生成模型在实体链接任务中的局限性，尤其是由于生成内容的幻觉现象导致的实体预测不准确问题。现有方法在处理大规模知识库时，往往无法提供精确的实体链接。

核心思路：INSGENEL通过结合指令调优和轻量级潜在提及检索器，增强了语言模型的实体链接能力。这样的设计旨在减少解码过程的复杂性，提高模型的处理速度和准确性。

技术框架：INSGENEL的整体架构包括两个主要模块：首先是基于指令调优的序列到序列训练目标，其次是轻量级的潜在提及检索器。这一框架使得模型能够快速而准确地进行实体链接。

关键创新：INSGENEL的主要创新在于引入了轻量级潜在提及检索器，显著减少了模型在解码过程中的计算负担，实现了4倍的速度提升，同时保持了链接性能的稳定性。

关键设计：在模型设计中，采用了特定的损失函数以优化实体链接的准确性，并通过指令调优技术提升了模型的学习效率。网络结构经过精心设计，以适应大规模知识库的处理需求。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，INSGENEL在F1分数上平均提升6.8点，相较于以往的生成方法具有显著优势。此外，该方法在训练数据效率和计算消耗方面也表现出色，展现出更高的实用性。

🎯 应用场景

INSGENEL的研究成果在多个领域具有广泛的应用潜力，包括信息检索、知识图谱构建和智能问答系统等。通过提高实体链接的准确性和效率，该方法能够显著提升信息系统的智能化水平，推动相关技术的发展和应用。

📄 摘要（原文）

Generative approaches powered by large language models (LLMs) have demonstrated emergent abilities in tasks that require complex reasoning abilities. Yet the generative nature still makes the generated content suffer from hallucinations, thus unsuitable for entity-centric tasks like entity linking (EL) requiring precise entity predictions over a large knowledge base. We present Instructed Generative Entity Linker (INSGENEL), the first approach that enables casual language models to perform entity linking over knowledge bases. Several methods to equip language models with EL capability were proposed in this work, including (i) a sequence-to-sequence training EL objective with instruction-tuning, (ii) a novel generative EL framework based on a light-weight potential mention retriever that frees the model from heavy and non-parallelizable decoding, achieving 4$\times$ speedup without compromise on linking metrics. INSGENEL outperforms previous generative alternatives with +6.8 F1 points gain on average, also with a huge advantage in training data efficiency and training compute consumption. In addition, our skillfully engineered in-context learning (ICL) framework for EL still lags behind INSGENEL significantly, reaffirming that the EL task remains a persistent hurdle for general LLMs.