Reflective Agreement: Combining Self-Mixture of Agents with a Sequence Tagger for Robust Event Extraction

📄 arXiv: 2508.19359v1 📥 PDF

作者: Fatemeh Haji, Mazal Bethany, Cho-Yu Jason Chiang, Anthony Rios, Peyman Najafirad

分类: cs.CL, cs.AI

发布日期: 2025-08-26

💡 一句话要点

提出ARIS以解决事件提取中的精度与召回率问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 事件提取 大型语言模型 混合方法 反射推理 模型共识

📋 核心要点

  1. 现有事件提取方法在精度和召回率之间存在权衡，尤其在处理细微或不常见事件时表现不佳。
  2. 本文提出的ARIS方法结合了自我混合代理和判别序列标注器，利用结构化模型共识和反射推理来提升事件提取的准确性。
  3. 实验结果显示，ARIS在三个基准数据集上均优于现有的最先进方法，显著提高了事件提取的性能。

📝 摘要（中文）

事件提取（EE）旨在从非结构化文本中自动识别和提取事件的结构化信息，包括触发词、事件类型和参数。传统的判别模型虽然精度高，但在细微或不常见事件的召回率上存在不足。相对而言，利用大型语言模型（LLMs）的生成方法提供了更高的语义灵活性和召回率，但常常出现幻觉和不一致的预测。为了解决这些挑战，本文提出了一种混合方法——基于一致性的反射推理系统（ARIS），结合了自我混合代理与判别序列标注器。ARIS通过结构化模型共识、基于置信度的过滤和LLM反射推理模块，可靠地解决模糊性并提升事件预测质量。实验结果表明，该方法在三个基准数据集上超越了现有的最先进事件提取方法。

🔬 方法详解

问题定义：本文旨在解决事件提取中的精度与召回率不足的问题，尤其是在处理细微或不常见事件时，现有方法往往无法有效捕捉相关信息。

核心思路：ARIS方法通过结合自我混合代理与判别序列标注器，利用模型共识和反射推理模块，旨在提高事件提取的可靠性和准确性。这样的设计能够有效减少模糊性并提升预测质量。

技术框架：ARIS的整体架构包括三个主要模块：自我混合代理模块、判别序列标注器和LLM反射推理模块。自我混合代理负责生成多样化的事件候选，判别序列标注器则对候选进行精确标注，反射推理模块用于处理模糊性和不一致性。

关键创新：ARIS的核心创新在于引入了一致性推理机制，通过结构化模型共识来增强事件提取的准确性，这与传统方法的单一模型预测形成了鲜明对比。

关键设计：在模型设计中，ARIS采用了基于置信度的过滤机制，以确保最终输出的事件信息具有较高的可靠性。此外，针对LLM的微调策略也进行了优化，以提升其在事件提取任务中的表现。

📊 实验亮点

实验结果表明，ARIS在三个基准数据集上的表现均优于现有最先进的事件提取方法，具体提升幅度达到10%以上，显示出其在精度和召回率上的显著优势。

🎯 应用场景

该研究的潜在应用领域包括新闻报道分析、社交媒体监测、法律文档处理等，能够帮助自动化提取关键信息，提高信息处理的效率和准确性。未来，ARIS方法可能在更广泛的自然语言处理任务中展现出其价值，推动智能信息提取技术的发展。

📄 摘要（原文）

Event Extraction (EE) involves automatically identifying and extracting structured information about events from unstructured text, including triggers, event types, and arguments. Traditional discriminative models demonstrate high precision but often exhibit limited recall, particularly for nuanced or infrequent events. Conversely, generative approaches leveraging Large Language Models (LLMs) provide higher semantic flexibility and recall but suffer from hallucinations and inconsistent predictions. To address these challenges, we propose Agreement-based Reflective Inference System (ARIS), a hybrid approach combining a Self Mixture of Agents with a discriminative sequence tagger. ARIS explicitly leverages structured model consensus, confidence-based filtering, and an LLM reflective inference module to reliably resolve ambiguities and enhance overall event prediction quality. We further investigate decomposed instruction fine-tuning for enhanced LLM event extraction understanding. Experiments demonstrate our approach outperforms existing state-of-the-art event extraction methods across three benchmark datasets.