Calibrated Seq2seq Models for Efficient and Generalizable Ultra-fine Entity Typing

📄 arXiv: 2311.00835v1 📥 PDF

作者: Yanlin Feng, Adithya Pratapa, David R Mortensen

分类: cs.CL

发布日期: 2023-11-01

🔗 代码/项目: GITHUB

💡 一句话要点

提出CASENT模型以解决超细粒度实体类型识别问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 超细粒度实体识别 序列到序列模型 校准方法 信息提取 自然语言处理

📋 核心要点

  1. 现有的超细粒度实体类型识别方法在泛化性能和推理效率上存在显著不足，难以处理庞大的实体类型输出空间。
  2. CASENT模型通过序列到序列的方式，利用约束束搜索生成多个类型，并采用新颖的校准方法提升置信度分数。
  3. 在UFET数据集上，CASENT模型在F1分数和校准误差上超越了现有方法，并在零-shot和few-shot设置下展现出优越的泛化能力。

📝 摘要（中文）

超细粒度实体类型识别在信息提取中至关重要，旨在为文本中的实体提及预测细粒度语义类型。然而，由于输出空间中实体类型数量庞大，该任务面临显著挑战。现有的最先进方法基于标准多标签分类器或交叉编码器模型，存在泛化性能差或推理效率低的问题。本文提出了CASENT，一个为超细粒度实体类型识别设计的序列到序列模型，能够以校准的置信度分数预测超细粒度类型。我们的模型以实体提及为输入，采用约束束搜索自回归生成多个类型。通过新颖的校准方法将预测类型的原始序列概率转换为置信度分数。我们在包含超过1万种类型的UFET数据集上进行了广泛实验，结果表明该方法在F1分数和校准误差方面超越了之前的最先进水平，同时推理速度提升超过50倍。

🔬 方法详解

问题定义：本文旨在解决超细粒度实体类型识别中的泛化性能差和推理效率低的问题。现有方法在面对庞大的实体类型输出空间时，往往无法有效处理。

核心思路：CASENT模型通过序列到序列的生成方式，利用约束束搜索自回归地生成多个类型，并通过校准方法将原始概率转化为置信度分数，从而提升预测的可靠性。

技术框架：CASENT的整体架构包括输入实体提及、约束束搜索生成类型、以及通过校准方法转换概率为置信度分数的模块。该流程确保了生成的类型不仅多样且具有较高的置信度。

关键创新：CASENT的主要创新在于其校准方法，能够有效地将预测的原始概率转化为更可靠的置信度分数，这一设计显著提升了模型的泛化能力和推理效率。

关键设计：模型在参数设置上进行了优化，损失函数设计考虑了多标签分类的特点，网络结构采用了适合序列生成的架构，确保了生成过程的高效性和准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

CASENT模型在UFET数据集上的实验结果显示，其F1分数和校准误差均优于现有最先进方法，推理速度提升超过50倍。在零-shot设置中，该模型超越了参数量十倍于其的语言模型，而在少量样本微调后，显著优于ChatGPT。

🎯 应用场景

该研究的潜在应用领域包括信息提取、知识图谱构建和自然语言处理等。通过提高超细粒度实体类型识别的准确性和效率，CASENT模型能够在多种实际场景中提供更为精准的信息服务，推动相关领域的发展。

📄 摘要（原文）

Ultra-fine entity typing plays a crucial role in information extraction by predicting fine-grained semantic types for entity mentions in text. However, this task poses significant challenges due to the massive number of entity types in the output space. The current state-of-the-art approaches, based on standard multi-label classifiers or cross-encoder models, suffer from poor generalization performance or inefficient inference. In this paper, we present CASENT, a seq2seq model designed for ultra-fine entity typing that predicts ultra-fine types with calibrated confidence scores. Our model takes an entity mention as input and employs constrained beam search to generate multiple types autoregressively. The raw sequence probabilities associated with the predicted types are then transformed into confidence scores using a novel calibration method. We conduct extensive experiments on the UFET dataset which contains over 10k types. Our method outperforms the previous state-of-the-art in terms of F1 score and calibration error, while achieving an inference speedup of over 50 times. Additionally, we demonstrate the generalization capabilities of our model by evaluating it in zero-shot and few-shot settings on five specialized domain entity typing datasets that are unseen during training. Remarkably, our model outperforms large language models with 10 times more parameters in the zero-shot setting, and when fine-tuned on 50 examples, it significantly outperforms ChatGPT on all datasets. Our code, models and demo are available at https://github.com/yanlinf/CASENT.