Large Language Models for Document-Level Event-Argument Data Augmentation for Challenging Role Types

📄 arXiv: 2403.03304v2 📥 PDF

作者: Joseph Gatto, Parker Seegmiller, Omar Sharif, Sarah M. Preum

分类: cs.CL, cs.LG

发布日期: 2024-03-05 (更新: 2024-06-12)

备注: Paper in submission (8 pages)

💡 一句话要点

提出基于大语言模型的数据增强框架以解决事件论元提取问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 事件论元提取 数据增强 大语言模型 少样本学习 跨领域学习

📋 核心要点

  1. 现有的数据增强方法在处理长文档和零、少样本角色时存在显著不足，限制了EAE的效果。
  2. 本文提出了两种基于大语言模型的增强框架，能够在没有领域内训练数据的情况下合成EAE样本。
  3. 实验结果显示，所提方法在零样本角色提取上F1分数提高了16点，RDF1性能提升了11点。

📝 摘要（中文）

事件论元提取（EAE）是一项极具挑战性的信息提取任务，尤其在少样本跨领域（FSCD）设置中存在显著限制。现有的数据增强方法不适用于多种实际EAE场景，包括长文档建模和零样本、少样本角色建模。本文提出了两种新颖的基于大语言模型的框架，能够在没有领域内训练数据的情况下合成文档级EAE样本。实验结果表明，最高性能的方法在零样本角色类型的提取上提高了16个F1分数。此外，本文还引入了一种新的评估指标——角色深度F1（RDF1），用于识别目标领域中与源领域观察到的角色语义上不一致的角色，LLM增强方法在RDF1性能上比基线方法提升了11个F1分数。

🔬 方法详解

问题定义：本文旨在解决事件论元提取中存在的少样本跨领域问题，现有方法在处理长文档和零样本角色时效果不佳，限制了信息提取的准确性和有效性。

核心思路：通过引入大语言模型（LLM），本文设计了两种数据增强框架，能够在缺乏领域内训练数据的情况下，合成高质量的文档级EAE样本，从而提升模型在复杂角色类型上的表现。

技术框架：整体架构包括数据生成模块和评估模块。数据生成模块利用LLM生成文档级EAE样本，评估模块则使用新引入的角色深度F1（RDF1）指标来评估生成样本的质量和有效性。

关键创新：本文的主要创新在于提出了基于LLM的文档级数据增强方法，并引入了RDF1评估指标，能够有效识别和处理源领域与目标领域之间的角色差异。

关键设计：在模型设计中，采用了特定的参数设置以优化生成样本的质量，损失函数设计考虑了生成样本的多样性和准确性，确保生成的EAE样本能够有效提升模型性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，所提出的基于LLM的数据增强方法在零样本角色类型的提取上实现了16个F1分数的提升，同时在角色深度F1（RDF1）性能上也比基线方法提高了11个F1分数，展现了显著的效果提升。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、信息提取和智能问答系统等。通过提升事件论元提取的准确性，能够为各类文本分析任务提供更为可靠的支持，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Event Argument Extraction (EAE) is an extremely difficult information extraction problem -- with significant limitations in few-shot cross-domain (FSCD) settings. A common solution to FSCD modeling is data augmentation. Unfortunately, existing augmentation methods are not well-suited to a variety of real-world EAE contexts including (i) The need to model long documents (10+ sentences) (ii) The need to model zero and few-shot roles (i.e. event roles with little to no training representation). In this work, we introduce two novel LLM-powered data augmentation frameworks for synthesizing extractive document-level EAE samples using zero in-domain training data. Our highest performing methods provide a 16-pt increase in F1 score on extraction of zero shot role types. To better facilitate analysis of cross-domain EAE, we additionally introduce a new metric, Role-Depth F1 (RDF1), which uses statistical depth to identify roles in the target domain which are semantic outliers with respect to roles observed in the source domain. Our experiments show that LLM-based augmentation can boost RDF1 performance by up to 11 F1 points compared to baseline methods.