MetaIE: Distilling a Meta Model from LLM for All Kinds of Information Extraction Tasks

📄 arXiv: 2404.00457v1 📥 PDF

作者: Letian Peng, Zilong Wang, Feng Yao, Zihan Wang, Jingbo Shang

分类: cs.CL

发布日期: 2024-03-30

💡 一句话要点

提出MetaIE以提升信息提取任务的效果

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 信息提取 小型语言模型 符号蒸馏 少样本学习 自然语言处理 元模型

📋 核心要点

  1. 现有方法在信息提取任务中，使用大型语言模型的效果不如在小型数据集上调优的小型语言模型，存在性能瓶颈。
  2. 论文提出MetaIE框架，通过符号蒸馏从大型语言模型中提取重要信息，构建小型语言模型作为元模型，以适应多种IE任务。
  3. 在13个数据集的实验中，MetaIE在少样本调优上表现优于其他元模型，验证了其有效性和效率。

📝 摘要（中文）

信息提取（IE）是自然语言处理中的一个基础领域，现有方法通过大型语言模型（LLMs）进行提示，尽管使用上下文示例，但仍无法超越在小型IE数据集上调优的小型语言模型。本文提出了一种新颖的框架MetaIE，通过学习提取“重要信息”来构建小型语言模型作为元模型，从而有效适应各种IE任务。具体而言，MetaIE通过符号蒸馏从LLM中获得小型语言模型，遵循标签到跨度的方案。我们通过从语言模型预训练数据集中抽样句子并提示LLM识别“重要信息”的类型跨度来构建蒸馏数据集。实验结果表明，MetaIE在13个数据集的6个IE任务上表现优异，提供了更好的少样本调优起点。

🔬 方法详解

问题定义：本文旨在解决信息提取任务中，现有大型语言模型在少样本情况下无法超越小型模型的问题，尤其是在特定IE任务上的表现不足。

核心思路：MetaIE通过符号蒸馏的方法，从大型语言模型中提取出“重要信息”的元理解，构建小型语言模型，以便更好地适应各种信息提取任务。

技术框架：MetaIE的整体架构包括数据集构建、符号蒸馏和模型评估三个主要模块。首先，从预训练数据集中抽样句子，然后通过大型语言模型识别重要信息的类型跨度，最后进行模型的少样本调优和评估。

关键创新：MetaIE的核心创新在于通过标签到跨度的匹配机制进行符号蒸馏，构建出一个能够适应多种IE任务的小型语言模型，这一方法与传统的单一任务调优或简单的预训练方法有本质区别。

关键设计：在技术细节上，MetaIE关注蒸馏数据集的规模、元模型的架构设计以及元模型的大小等参数设置，确保模型在少样本情况下的有效性。具体的损失函数和网络结构设计也经过精心调整，以优化信息提取的性能。

📊 实验亮点

在13个数据集的实验中，MetaIE在少样本调优上表现优于其他元模型，具体而言，相较于传统的语言模型预训练和单一任务的符号蒸馏，MetaIE在多个IE任务上提升了性能，验证了其有效性。

🎯 应用场景

MetaIE的研究成果在信息提取领域具有广泛的应用潜力，尤其是在需要快速适应新任务的场景中，如文本分析、知识图谱构建和智能问答系统等。未来，随着模型的进一步优化，MetaIE有望在更多实际应用中发挥重要作用。

📄 摘要（原文）

Information extraction (IE) is a fundamental area in natural language processing where prompting large language models (LLMs), even with in-context examples, cannot defeat small LMs tuned on very small IE datasets. We observe that IE tasks, such as named entity recognition and relation extraction, all focus on extracting important information, which can be formalized as a label-to-span matching. In this paper, we propose a novel framework MetaIE to build a small LM as meta-model by learning to extract "important information", i.e., the meta-understanding of IE, so that this meta-model can be adapted to all kind of IE tasks effectively and efficiently. Specifically, MetaIE obtains the small LM via a symbolic distillation from an LLM following the label-to-span scheme. We construct the distillation dataset via sampling sentences from language model pre-training datasets (e.g., OpenWebText in our implementation) and prompting an LLM to identify the typed spans of "important information". We evaluate the meta-model under the few-shot adaptation setting. Extensive results on 13 datasets from 6 IE tasks confirm that MetaIE can offer a better starting point for few-shot tuning on IE datasets and outperform other meta-models from (1) vanilla language model pre-training, (2) multi-IE-task pre-training with human annotations, and (3) single-IE-task symbolic distillation from LLM. Moreover, we provide comprehensive analyses of MetaIE, such as the size of the distillation dataset, the meta-model architecture, and the size of the meta-model.