Improving Event Definition Following For Zero-Shot Event Detection

📄 arXiv: 2403.02586v1 📥 PDF

作者: Zefan Cai, Po-Nien Kung, Ashima Suvarna, Mingyu Derek Ma, Hritik Bansal, Baobao Chang, P. Jeffrey Brantingham, Wei Wang, Nanyun Peng

分类: cs.CL

发布日期: 2024-03-05

💡 一句话要点

提出多样化事件定义以提升零-shot事件检测性能

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 零-shot学习 事件检测 多样化数据集 自然语言处理 模型微调

📋 核心要点

  1. 现有的零-shot事件检测方法在处理未见事件定义时表现不佳，难以满足实际应用需求。
  2. 本文提出通过构建多样化事件定义数据集，增强模型对事件定义的学习能力，从而提升检测性能。
  3. 实验结果显示，使用200种事件类型和多样化定义显著提升了性能，且微调后的模型超越了现有的SOTA模型。

📝 摘要（中文）

现有的零-shot事件检测方法通常在已知事件类型的标注数据集上训练模型，并使用未见过的事件定义进行提示。这些方法取得了一定成功，但总体表现不尽如人意。本文旨在通过训练模型更好地遵循事件定义来改善零-shot事件检测。我们假设多样化的事件类型和定义是模型学习遵循事件定义的关键，而现有的数据集则主要集中于为少数事件类型标注高质量示例。为验证这一假设，我们构建了自动生成的多样化事件定义（DivED）数据集并进行了比较研究。实验结果表明，200种事件类型和多样化的事件定义显著提升了事件提取性能，而超过十个示例的事件类型性能提升有限。此外，我们在训练中结合了事件本体信息和困难负样本，进一步提升了性能。基于这些发现，我们在DivED数据集上微调了LLaMA-2-7B模型，其性能超越了GPT-3.5等当前大型语言模型，在三个开放基准测试中表现优异。

🔬 方法详解

问题定义：本文解决的是零-shot事件检测中模型对未见事件定义的适应性不足的问题。现有方法主要依赖于少数高质量示例，导致模型在新事件类型上的表现不理想。

核心思路：论文的核心思路是构建一个多样化的事件定义数据集（DivED），以提供丰富的事件类型和定义，从而帮助模型更好地学习和遵循这些定义。通过增加事件类型的多样性，模型能够在面对未见事件时表现得更为灵活。

技术框架：整体架构包括数据集构建、模型训练和性能评估三个主要阶段。首先，自动生成多样化事件定义数据集；其次，利用该数据集对LLaMA-2-7B模型进行微调；最后，通过多个基准测试评估模型性能。

关键创新：最重要的技术创新在于构建了DivED数据集，包含200种事件类型和多样化的事件定义，这一设计显著提升了模型的事件提取能力，与现有方法相比，提供了更为丰富的学习素材。

关键设计：在训练过程中，结合了事件本体信息和困难负样本，以增强模型的学习效果。此外，针对每种事件类型的示例数量进行了优化，发现超过十个示例的增益有限，从而指导了数据集的构建策略。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，使用200种事件类型和多样化定义后，模型在零-shot事件检测任务中的性能显著提升，超越了当前的SOTA大型语言模型，如GPT-3.5，具体提升幅度在多个开放基准测试中均有体现。

🎯 应用场景

该研究在事件检测、信息提取和自然语言处理等领域具有广泛的应用潜力。通过提升零-shot事件检测的性能，可以更好地支持新闻监测、社交媒体分析和安全事件响应等实际场景，未来可能推动智能监控和自动化信息处理的发展。

📄 摘要（原文）

Existing approaches on zero-shot event detection usually train models on datasets annotated with known event types, and prompt them with unseen event definitions. These approaches yield sporadic successes, yet generally fall short of expectations. In this work, we aim to improve zero-shot event detection by training models to better follow event definitions. We hypothesize that a diverse set of event types and definitions are the key for models to learn to follow event definitions while existing event extraction datasets focus on annotating many high-quality examples for a few event types. To verify our hypothesis, we construct an automatically generated Diverse Event Definition (DivED) dataset and conduct comparative studies. Our experiments reveal that a large number of event types (200) and diverse event definitions can significantly boost event extraction performance; on the other hand, the performance does not scale with over ten examples per event type. Beyond scaling, we incorporate event ontology information and hard-negative samples during training, further boosting the performance. Based on these findings, we fine-tuned a LLaMA-2-7B model on our DivED dataset, yielding performance that surpasses SOTA large language models like GPT-3.5 across three open benchmarks on zero-shot event detection.