SciEvent: Benchmarking Multi-domain Scientific Event Extraction

📄 arXiv: 2509.15620v1 📥 PDF

作者: Bofu Dong, Pritesh Shah, Sumedh Sonawane, Tiyasha Banerjee, Erin Brady, Xinya Du, Ming Jiang

分类: cs.CL

发布日期: 2025-09-19

备注: 9 pages, 8 figures (main); 22 pages, 11 figures (appendix). Accepted to EMNLP 2025 (Main Conference)

💡 一句话要点

SciEvent：提出多领域科学事件抽取基准，促进结构化科学内容理解

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 科学信息抽取 事件抽取 多领域学习 自然语言处理 基准数据集

📋 核心要点

  1. 现有科学信息抽取方法依赖于狭窄领域的实体关系抽取，缺乏跨领域适用性和上下文理解能力。
  2. SciEvent通过构建多领域科学事件抽取基准，并采用统一的事件抽取模式，实现结构化和上下文感知的科学内容理解。
  3. 实验表明，现有模型在社会学和人文学科等领域表现不佳，SciEvent为提升多领域科学信息抽取性能提供了挑战。

📝 摘要（中文）

科学信息抽取（SciIE）主要依赖于狭窄领域的实体关系抽取，限制了其在跨学科研究中的应用，并且难以捕捉科学信息的必要上下文，导致语句碎片化或冲突。本文提出了SciEvent，这是一个新的多领域基准，包含通过统一事件抽取（EE）模式标注的科学摘要，旨在实现对科学内容的结构化和上下文感知的理解。它包括五个研究领域的500篇摘要，以及事件片段、触发词和细粒度论元的标注。我们将SciIE定义为一个多阶段EE流程：（1）将摘要分割为核心科学活动——背景、方法、结果和结论；（2）提取相应的触发词和论元。使用微调的EE模型、大型语言模型（LLM）和人工标注者的实验表明存在性能差距，当前模型在社会学和人文学科等领域表现不佳。SciEvent作为一个具有挑战性的基准，是迈向通用、多领域SciIE的一步。

🔬 方法详解

问题定义：现有科学信息抽取方法主要集中在特定领域，并且依赖于实体关系抽取，这导致了两个主要问题：一是跨领域适用性差，难以应用于涉及多个学科的研究；二是缺乏对科学信息上下文的理解，导致抽取的信息片段化，甚至出现相互矛盾的陈述。因此，需要一种能够处理多领域数据，并且能够捕捉科学信息上下文的事件抽取方法。

核心思路：SciEvent的核心思路是将科学信息抽取任务定义为一个多阶段的事件抽取流程，该流程能够将科学摘要分割成不同的核心科学活动（背景、方法、结果、结论），并提取与这些活动相关的触发词和论元。通过这种方式，可以更好地理解科学信息的结构和上下文，从而提高抽取结果的准确性和完整性。

技术框架：SciEvent的整体框架包含两个主要阶段：首先，将科学摘要分割成四个核心科学活动部分：背景（Background）、方法（Method）、结果（Result）和结论（Conclusion）。其次，在每个活动部分中，提取事件的触发词（Triggers）和论元（Arguments）。这个过程依赖于预先定义的事件抽取模式，该模式定义了不同类型的事件以及它们对应的论元角色。

关键创新：SciEvent的关键创新在于构建了一个多领域的科学事件抽取基准，该基准覆盖了五个不同的研究领域，并且采用了统一的事件抽取模式。这使得研究人员可以开发和评估能够处理多领域数据的事件抽取模型，从而提高科学信息抽取的通用性和可扩展性。此外，将科学信息抽取任务定义为多阶段的事件抽取流程，有助于更好地理解科学信息的结构和上下文。

关键设计：SciEvent数据集包含500篇科学摘要，这些摘要来自五个不同的研究领域。每个摘要都经过人工标注，标注了事件片段、触发词和细粒度的论元。在实验中，作者使用了微调的事件抽取模型和大型语言模型（LLM）来评估SciEvent基准的难度。具体的模型选择和训练细节在论文中没有详细描述，属于未知信息。

📊 实验亮点

实验结果表明，当前的模型在SciEvent基准上仍有很大的提升空间，尤其是在社会学和人文学科等领域。这表明SciEvent是一个具有挑战性的基准，可以促进多领域科学信息抽取技术的发展。具体的性能数据和对比基线在摘要中没有给出，属于未知信息。

🎯 应用场景

SciEvent的研究成果可应用于多个领域，例如：智能文献检索，帮助研究人员快速定位关键信息；科研成果分析，评估研究的影响力和发展趋势；自动生成研究报告，提高科研效率。未来，该研究有望促进跨学科研究，加速科学发现。

📄 摘要（原文）

Scientific information extraction (SciIE) has primarily relied on entity-relation extraction in narrow domains, limiting its applicability to interdisciplinary research and struggling to capture the necessary context of scientific information, often resulting in fragmented or conflicting statements. In this paper, we introduce SciEvent, a novel multi-domain benchmark of scientific abstracts annotated via a unified event extraction (EE) schema designed to enable structured and context-aware understanding of scientific content. It includes 500 abstracts across five research domains, with manual annotations of event segments, triggers, and fine-grained arguments. We define SciIE as a multi-stage EE pipeline: (1) segmenting abstracts into core scientific activities--Background, Method, Result, and Conclusion; and (2) extracting the corresponding triggers and arguments. Experiments with fine-tuned EE models, large language models (LLMs), and human annotators reveal a performance gap, with current models struggling in domains such as sociology and humanities. SciEvent serves as a challenging benchmark and a step toward generalizable, multi-domain SciIE.