Consistency Guided Knowledge Retrieval and Denoising in LLMs for Zero-shot Document-level Relation Triplet Extraction

📄 arXiv: 2401.13598v1 📥 PDF

作者: Qi Sun, Kun Huang, Xiaocui Yang, Rong Tong, Kun Zhang, Soujanya Poria

分类: cs.CL

发布日期: 2024-01-24

备注: Accepted by WWW 2024

💡 一句话要点

提出ZeroDocRTE框架以解决文档级关系三元组提取问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 文档级关系提取 零-shot学习 大型语言模型 知识检索 数据去噪 自动标注 信息系统

📋 核心要点

  1. 现有的文档级关系三元组提取方法依赖大量标注数据，收集和标注新关系数据的过程既耗时又费力。
  2. 本文提出的ZeroDocRTE框架通过从大型语言模型中检索和去噪知识，自动生成标注数据，降低了对人工标注的依赖。
  3. 实验结果显示，GenRDK框架在两个公共数据集上的零-shot文档级关系和三元组提取任务中均优于现有强基线。

📝 摘要（中文）

文档级关系三元组提取（DocRTE）是信息系统中的一项基础任务，旨在从文档中同时提取具有语义关系的实体。现有方法依赖大量标注数据，收集和标注新兴关系的数据既耗时又费力。本文提出了一种零-shot文档级关系三元组提取框架（ZeroDocRTE），通过从大型语言模型（LLMs）中检索和去噪知识生成标注数据，称为GenRDK。我们设计了一种链式检索提示，引导ChatGPT逐步生成标注的长文本数据。为了提高合成数据的质量，我们提出了一种基于跨文档知识一致性的去噪策略。利用去噪后的合成数据，我们对LLaMA2-13B-Chat进行了微调，以提取文档级关系三元组。实验结果表明，GenRDK框架优于强基线。

🔬 方法详解

问题定义：本文旨在解决文档级关系三元组提取中的数据标注不足问题。现有方法通常需要大量人工标注数据，难以适应新兴关系的快速变化。

核心思路：提出ZeroDocRTE框架，通过从大型语言模型中自动生成标注数据，结合检索和去噪技术，减少对人工标注的依赖。

技术框架：框架主要包括两个阶段：首先，通过链式检索提示引导ChatGPT生成长文本数据；其次，应用基于一致性的去噪策略提高合成数据的质量。

关键创新：最重要的创新在于结合了检索和去噪策略，利用大型语言模型生成高质量的标注数据，与传统方法相比，显著降低了对人工标注的需求。

关键设计：在模型微调过程中，采用了LLaMA2-13B-Chat作为基础模型，并设计了特定的损失函数以优化关系提取的准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，GenRDK框架在两个公共数据集上的表现优于多个强基线，具体提升幅度达到XX%，展示了其在零-shot文档级关系提取任务中的有效性和潜力。

🎯 应用场景

该研究的潜在应用领域包括信息检索、知识图谱构建和自动问答系统等。通过减少对人工标注的依赖，ZeroDocRTE框架能够快速适应新兴关系的提取需求，提升信息系统的智能化水平。

📄 摘要（原文）

Document-level Relation Triplet Extraction (DocRTE) is a fundamental task in information systems that aims to simultaneously extract entities with semantic relations from a document. Existing methods heavily rely on a substantial amount of fully labeled data. However, collecting and annotating data for newly emerging relations is time-consuming and labor-intensive. Recent advanced Large Language Models (LLMs), such as ChatGPT and LLaMA, exhibit impressive long-text generation capabilities, inspiring us to explore an alternative approach for obtaining auto-labeled documents with new relations. In this paper, we propose a Zero-shot Document-level Relation Triplet Extraction (ZeroDocRTE) framework, which generates labeled data by retrieval and denoising knowledge from LLMs, called GenRDK. Specifically, we propose a chain-of-retrieval prompt to guide ChatGPT to generate labeled long-text data step by step. To improve the quality of synthetic data, we propose a denoising strategy based on the consistency of cross-document knowledge. Leveraging our denoised synthetic data, we proceed to fine-tune the LLaMA2-13B-Chat for extracting document-level relation triplets. We perform experiments for both zero-shot document-level relation and triplet extraction on two public datasets. The experimental results illustrate that our GenRDK framework outperforms strong baselines.