TextEE: Benchmark, Reevaluation, Reflections, and Future Challenges in Event Extraction

📄 arXiv: 2311.09562v3 📥 PDF

作者: Kuan-Hao Huang, I-Hung Hsu, Tanmay Parekh, Zhiyu Xie, Zixuan Zhang, Premkumar Natarajan, Kai-Wei Chang, Nanyun Peng, Heng Ji

分类: cs.CL

发布日期: 2023-11-16 (更新: 2024-06-06)

备注: Paper accepted by ACL 2024 Findings

💡 一句话要点

提出TextEE基准以解决事件抽取评估不一致性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 事件抽取 基准评估 自然语言处理 数据预处理 模型重评估 大型语言模型 可重复性 评估框架

📋 核心要点

  1. 现有事件抽取方法在评估过程中存在不一致性和可重复性差的问题，影响了性能的真实反映。
  2. 本文提出TextEE基准，通过标准化的数据预处理和数据集划分，解决了评估中的多种挑战。
  3. 实验结果显示，五种大型语言模型在TextEE基准上的表现不尽如人意，揭示了当前方法的局限性。

📝 摘要（中文）

事件抽取因其广泛应用而受到关注，但近期研究指出现有评估方法存在问题，导致报告的得分未能准确反映真实性能。本文识别并解决了评估中的挑战，包括由于数据假设或预处理步骤不同而导致的不一致性、当前评估框架的不足以及部分方法的低可重复性。为此，我们提出了TextEE，一个标准化、公平且可重复的事件抽取基准，涵盖16个数据集和14种最新方法，进行全面的基准重评估。我们还评估了五种不同的大型语言模型在TextEE基准上的表现，并讨论了事件抽取在当前自然语言处理时代的角色及未来挑战。

🔬 方法详解

问题定义：本文旨在解决事件抽取领域中评估不一致性和可重复性差的问题。现有方法在数据假设和预处理步骤上存在差异，导致性能评估结果不可靠。

核心思路：我们提出TextEE基准，提供标准化的数据预处理脚本和数据集划分，确保评估的公平性和可重复性。通过对多种方法的重评估，揭示其在不同数据集上的表现差异。

技术框架：TextEE基准包括16个数据集，涵盖八个不同领域，结合14种最新的事件抽取方法。整个流程包括数据预处理、模型训练和性能评估三个主要阶段。

关键创新：TextEE是首个标准化的综合性事件抽取基准，显著提升了评估的可靠性和可比性，与现有方法相比，提供了更为系统的评估框架。

关键设计：在设计中，我们考虑了数据集的多样性和代表性，采用了统一的评估指标，并确保了数据划分的一致性，以减少偏差和提高可重复性。

🖼️ 关键图片

fig_0

📊 实验亮点

在TextEE基准上，五种大型语言模型的表现均未达到预期，显示出当前事件抽取方法在处理复杂数据集时的局限性。这一发现为未来的研究指明了方向，强调了改进模型性能的必要性。

🎯 应用场景

TextEE基准的提出为事件抽取研究提供了一个可靠的评估工具，能够帮助研究人员更准确地比较不同方法的性能。其标准化的流程和数据集划分将促进事件抽取技术在信息提取、知识图谱构建等领域的应用，推动相关研究的进展。

📄 摘要（原文）

Event extraction has gained considerable interest due to its wide-ranging applications. However, recent studies draw attention to evaluation issues, suggesting that reported scores may not accurately reflect the true performance. In this work, we identify and address evaluation challenges, including inconsistency due to varying data assumptions or preprocessing steps, the insufficiency of current evaluation frameworks that may introduce dataset or data split bias, and the low reproducibility of some previous approaches. To address these challenges, we present TextEE, a standardized, fair, and reproducible benchmark for event extraction. TextEE comprises standardized data preprocessing scripts and splits for 16 datasets spanning eight diverse domains and includes 14 recent methodologies, conducting a comprehensive benchmark reevaluation. We also evaluate five varied large language models on our TextEE benchmark and demonstrate how they struggle to achieve satisfactory performance. Inspired by our reevaluation results and findings, we discuss the role of event extraction in the current NLP era, as well as future challenges and insights derived from TextEE. We believe TextEE, the first standardized comprehensive benchmarking tool, will significantly facilitate future event extraction research.