Multimodal Cross-Document Event Coreference Resolution Using Linear Semantic Transfer and Mixed-Modality Ensembles

📄 arXiv: 2404.08949v1 📥 PDF

作者: Abhijnan Nath, Huma Jamil, Shafiuddin Rehan Ahmed, George Baker, Rahul Ghosh, James H. Martin, Nathaniel Blanchard, Nikhil Krishnaswamy

分类: cs.CL

发布日期: 2024-04-13

备注: To appear at LREC-COLING 2024

💡 一句话要点

提出多模态方法以解决跨文档事件共指解析问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 事件共指解析 多模态融合 线性映射 图像辅助 文本处理 信息检索 社交媒体分析

📋 核心要点

  1. 现有的事件共指解析方法在处理多文档语料时，往往面临语言模糊性的问题，导致解析效果不佳。
  2. 本文提出了一种结合视觉和文本信息的多模态解析方法，通过线性映射实现视觉与语言模型的融合，提升了解析准确性。
  3. 实验结果显示，使用交叉模态线性映射的集成系统在ECB+数据集上达到了91.9的CoNLL F1分数，并在AIDA Phase 1上建立了新的基线。

📝 摘要（中文）

事件共指解析（ECR）是确定多文档语料中不同事件提及是否指向同一事件的任务。当语言模糊时，事件的图像可以帮助解决这一问题。本文提出了一种多模态跨文档事件共指解析方法，结合了视觉和文本线索，并通过简单的线性映射将视觉模型与语言模型连接。由于现有的ECR基准数据集很少为所有事件提及提供图像，我们从互联网抓取并使用图像扩散模型生成事件中心图像，增强了流行的ECB+数据集。我们建立了三种结合图像和文本的共指解析方法，并在增强的ECB+和AIDA Phase 1两个数据集上进行评估。我们的实验结果表明，多模态信息在某些具有挑战性的共指问题中具有实用性，并强调了在共指解析领域对更多多模态资源的需求。

🔬 方法详解

问题定义：本文旨在解决跨文档事件共指解析中的模糊性问题，现有方法在处理多模态信息时效果有限，缺乏有效的图像辅助支持。

核心思路：通过引入图像信息，结合文本线索，利用线性映射实现视觉与语言模型的融合，增强共指解析的准确性和鲁棒性。

技术框架：整体架构包括三个主要模块：1) 标准融合模型，进行微调以整合图像和文本；2) 新颖的线性映射方法，无需微调；3) 基于语义和话语层次难度划分的集成方法。

关键创新：最重要的创新在于提出了一种简单的线性映射方法，能够有效地将视觉信息与文本信息结合，克服了传统方法的局限性。

关键设计：在模型设计中，采用了特定的损失函数以优化图像与文本的对齐，并通过集成学习策略提升了模型的整体性能。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，使用交叉模态线性映射的集成系统在增强的ECB+数据集上达到了91.9的CoNLL F1分数，显著提升了共指解析的性能，并在AIDA Phase 1上建立了新的基线，展示了多模态信息的有效性。

🎯 应用场景

该研究的潜在应用领域包括信息检索、社交媒体分析和新闻事件追踪等。通过提高事件共指解析的准确性，能够更好地理解和处理多文档环境中的信息，具有重要的实际价值和未来影响。

📄 摘要（原文）

Event coreference resolution (ECR) is the task of determining whether distinct mentions of events within a multi-document corpus are actually linked to the same underlying occurrence. Images of the events can help facilitate resolution when language is ambiguous. Here, we propose a multimodal cross-document event coreference resolution method that integrates visual and textual cues with a simple linear map between vision and language models. As existing ECR benchmark datasets rarely provide images for all event mentions, we augment the popular ECB+ dataset with event-centric images scraped from the internet and generated using image diffusion models. We establish three methods that incorporate images and text for coreference: 1) a standard fused model with finetuning, 2) a novel linear mapping method without finetuning and 3) an ensembling approach based on splitting mention pairs by semantic and discourse-level difficulty. We evaluate on 2 datasets: the augmented ECB+, and AIDA Phase 1. Our ensemble systems using cross-modal linear mapping establish an upper limit (91.9 CoNLL F1) on ECB+ ECR performance given the preprocessing assumptions used, and establish a novel baseline on AIDA Phase 1. Our results demonstrate the utility of multimodal information in ECR for certain challenging coreference problems, and highlight a need for more multimodal resources in the coreference resolution space.