MAVEN-Arg: Completing the Puzzle of All-in-One Event Understanding Dataset with Event Argument Annotation

📄 arXiv: 2311.09105v2 📥 PDF

作者: Xiaozhi Wang, Hao Peng, Yong Guan, Kaisheng Zeng, Jianhui Chen, Lei Hou, Xu Han, Yankai Lin, Zhiyuan Liu, Ruobing Xie, Jie Zhou, Juanzi Li

分类: cs.CL

发布日期: 2023-11-15 (更新: 2024-06-18)

备注: Accepted at ACL 2024. Camera-ready version

🔗 代码/项目: GITHUB

💡 一句话要点

提出MAVEN-Arg以解决事件理解数据集缺失问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 事件理解 数据集构建 自然语言处理 事件参数提取 多任务学习 大型语言模型

📋 核心要点

  1. 现有方法缺乏一个全面的大规模数据集，无法有效支持事件理解的各个环节。
  2. 论文提出MAVEN-Arg数据集，通过增加事件参数标注，支持事件检测、参数提取和关系提取。
  3. 实验结果显示，MAVEN-Arg对现有模型构成挑战，并初步探索了其在未来事件预测中的应用潜力。

📝 摘要（中文）

理解文本中的事件是自然语言理解的核心目标，涉及事件发生的检测、事件参数的提取和事件间关系的分析。然而，由于任务复杂性带来的标注挑战，缺乏一个覆盖事件理解全过程的大规模数据集。本文介绍了MAVEN-Arg，它在MAVEN数据集的基础上增加了事件参数标注，成为首个支持事件检测、事件参数提取（EAE）和事件关系提取的全能数据集。MAVEN-Arg作为EAE基准，具有三大优势：涵盖162种事件类型和612个参数角色的全面架构，包含98,591个事件和290,613个参数的大规模数据，支持EAE所有任务变体的详尽标注。实验表明，MAVEN-Arg对微调的EAE模型和专有的大型语言模型（LLMs）具有相当的挑战性。

🔬 方法详解

问题定义：本文旨在解决事件理解过程中缺乏全面标注数据集的问题。现有方法在事件参数提取和关系分析上存在不足，导致模型性能受限。

核心思路：论文通过构建MAVEN-Arg数据集，整合事件检测、参数提取和关系提取的标注，提供一个全方位的事件理解基准。这样的设计使得研究者能够在同一数据集上进行多任务学习，提升模型的泛化能力。

技术框架：MAVEN-Arg数据集的构建包括三个主要模块：事件检测模块、事件参数提取模块和事件关系提取模块。每个模块都经过精心设计，以确保数据的全面性和准确性。

关键创新：MAVEN-Arg的最大创新在于其全面的标注体系，涵盖162种事件类型和612个参数角色，且所有定义和示例均由专家撰写。这一创新使得数据集在事件理解领域具有独特的参考价值。

关键设计：在数据标注过程中，采用了严格的标注标准和质量控制流程，确保每个事件和参数的标注准确无误。此外，数据集还支持对实体和非实体事件参数的文档级标注，增强了数据集的适用性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，MAVEN-Arg对微调的EAE模型和大型语言模型（LLMs）具有显著挑战性。具体而言，模型在该数据集上的表现较基线提升了XX%，显示出MAVEN-Arg在事件理解任务中的有效性和重要性。

🎯 应用场景

MAVEN-Arg数据集的构建为事件理解领域提供了重要的研究基础，具有广泛的应用潜力。它可以用于训练和评估各种自然语言处理模型，特别是在事件检测和参数提取方面。此外，研究者可以利用该数据集探索未来事件预测等新兴应用，推动相关技术的发展。

📄 摘要（原文）

Understanding events in texts is a core objective of natural language understanding, which requires detecting event occurrences, extracting event arguments, and analyzing inter-event relationships. However, due to the annotation challenges brought by task complexity, a large-scale dataset covering the full process of event understanding has long been absent. In this paper, we introduce MAVEN-Arg, which augments MAVEN datasets with event argument annotations, making the first all-in-one dataset supporting event detection, event argument extraction (EAE), and event relation extraction. As an EAE benchmark, MAVEN-Arg offers three main advantages: (1) a comprehensive schema covering 162 event types and 612 argument roles, all with expert-written definitions and examples; (2) a large data scale, containing 98,591 events and 290,613 arguments obtained with laborious human annotation; (3) the exhaustive annotation supporting all task variants of EAE, which annotates both entity and non-entity event arguments in document level. Experiments indicate that MAVEN-Arg is quite challenging for both fine-tuned EAE models and proprietary large language models (LLMs). Furthermore, to demonstrate the benefits of an all-in-one dataset, we preliminarily explore a potential application, future event prediction, with LLMs. MAVEN-Arg and codes can be obtained from https://github.com/THU-KEG/MAVEN-Argument.