Meta In-Context Learning Makes Large Language Models Better Zero and Few-Shot Relation Extractors

📄 arXiv: 2404.17807v1 📥 PDF

作者: Guozheng Li, Peng Wang, Jiajun Liu, Yikai Guo, Ke Ji, Ziyu Shang, Zijie Xu

分类: cs.CL, cs.AI

发布日期: 2024-04-27

备注: IJCAI 2024

💡 一句话要点

提出Micre框架以提升零样本和少样本关系抽取性能

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 关系抽取 大规模语言模型 上下文学习 元训练 自然语言处理 信息提取 少样本学习

📋 核心要点

  1. 现有的大规模语言模型在零样本和少样本关系抽取任务中表现不佳，主要受限于上下文学习能力不足。
  2. 本文提出Micre框架，通过元训练使LLM在多样化的RE数据集上进行上下文学习，从而提升其在新任务中的适应能力。
  3. 实验结果显示，Micre在多个LLM上与多种基线方法相比，尤其在大规模模型中，显著提升了零样本和少样本RE的性能。

📝 摘要（中文）

关系抽取（RE）是识别文本中实体关系的重要任务。尽管大规模语言模型（LLMs）在零样本和少样本学习中展现出显著的上下文学习能力，但在RE任务中仍面临挑战。为此，本文提出了Micre（大规模语言模型的元上下文学习），一个新的元训练框架，旨在通过在多样化的RE数据集上进行训练，提升LLMs在RE任务中的上下文学习能力。实验结果表明，Micre在12个公共RE数据集上表现优越，尤其在大规模模型中效果显著，能够有效转移关系语义知识。

🔬 方法详解

问题定义：本文旨在解决当前大规模语言模型在零样本和少样本关系抽取任务中的性能不足，现有方法主要集中在提示格式设计和示例选择上，未能从根本上提升模型的上下文学习能力。

核心思路：Micre框架通过元训练的方式，使模型在多样化的关系抽取数据集上进行训练，学习如何在上下文中进行学习，从而在推理时无需参数更新或特定模板，提升了模型的泛化能力。

技术框架：Micre的整体架构包括元训练阶段和推理阶段。在元训练阶段，模型在多个RE数据集上进行训练，学习如何有效利用上下文信息；在推理阶段，模型能够基于少量示例进行关系抽取。

关键创新：Micre的主要创新在于通过元训练提升了LLM的上下文学习能力，使其在零样本和少样本RE任务中表现优越，区别于传统方法依赖于固定的提示和示例选择。

关键设计：在Micre中，关键设计包括多样化的元训练数据集选择，以及在推理时通过关系标签名称转移关系语义知识的策略，这些设计显著提升了模型的性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，Micre在12个公共RE数据集上表现出色，相较于监督微调和传统上下文学习方法，取得了可比或更优的性能，尤其在大规模模型中，性能提升显著，验证了多样化元训练数据集的重要性。

🎯 应用场景

该研究的潜在应用领域包括信息提取、知识图谱构建和智能问答系统等。通过提升关系抽取的性能，Micre框架能够帮助企业和研究机构更高效地从海量文本中提取有价值的信息，推动自然语言处理技术的实际应用和发展。

📄 摘要（原文）

Relation extraction (RE) is an important task that aims to identify the relationships between entities in texts. While large language models (LLMs) have revealed remarkable in-context learning (ICL) capability for general zero and few-shot learning, recent studies indicate that current LLMs still struggle with zero and few-shot RE. Previous studies are mainly dedicated to design prompt formats and select good examples for improving ICL-based RE. Although both factors are vital for ICL, if one can fundamentally boost the ICL capability of LLMs in RE, the zero and few-shot RE performance via ICL would be significantly improved. To this end, we introduce \textsc{Micre} (\textbf{M}eta \textbf{I}n-\textbf{C}ontext learning of LLMs for \textbf{R}elation \textbf{E}xtraction), a new meta-training framework for zero and few-shot RE where an LLM is tuned to do ICL on a diverse collection of RE datasets (i.e., learning to learn in context for RE). Through meta-training, the model becomes more effectively to learn a new RE task in context by conditioning on a few training examples with no parameter updates or task-specific templates at inference time, enabling better zero and few-shot task generalization. We experiment \textsc{Micre} on various LLMs with different model scales and 12 public RE datasets, and then evaluate it on unseen RE benchmarks under zero and few-shot settings. \textsc{Micre} delivers comparable or superior performance compared to a range of baselines including supervised fine-tuning and typical in-context learning methods. We find that the gains are particular significant for larger model scales, and using a diverse set of the meta-training RE datasets is key to improvements. Empirically, we show that \textsc{Micre} can transfer the relation semantic knowledge via relation label name during inference on target RE datasets.