Event Causality Is Key to Computational Story Understanding

📄 arXiv: 2311.09648v2 📥 PDF

作者: Yidan Sun, Qin Chao, Boyang Li

分类: cs.CL

发布日期: 2023-11-16 (更新: 2024-04-02)

🔗 代码/项目: GITHUB

💡 一句话要点

提出事件因果关系识别方法以提升计算故事理解能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 事件因果关系 故事理解 大型语言模型 多模态对齐 机器学习 自然语言处理 数据集 性能提升

📋 核心要点

  1. 现有的故事理解机器学习系统很少利用事件因果关系，导致理解效果不佳。
  2. 本文提出了一种基于大型语言模型的事件因果关系识别方法，旨在改善故事理解的准确性。
  3. 实验结果显示，该方法在多个任务中显著提升了性能，尤其是在与人类评分的相关性上。

📝 摘要（中文）

认知科学和符号人工智能研究表明，事件因果关系为故事理解提供了重要信息。然而，现有的机器学习系统在故事理解中很少利用事件因果关系，部分原因是缺乏可靠识别开放世界因果事件关系的方法。本文利用大型语言模型的最新进展，提出了一种事件因果关系识别的新方法，显著提升了计算故事理解的效果。在COPES数据集上，该方法在因果事件关系识别任务中设立了新的最优基准。此外，在下游故事质量评估任务中，识别出的因果关系与人类评分的相关性提高了3.6%-16.6%。在多模态故事视频-文本对齐任务中，Clip准确率提高了4.1%-10.9%，句子IoU提高了4.2%-13.5%。这些发现表明，事件因果关系在计算故事理解中具有巨大的未开发潜力。

🔬 方法详解

问题定义：本文旨在解决现有故事理解系统未能有效利用事件因果关系的问题。现有方法在识别开放世界因果事件关系方面存在不足，限制了故事理解的深度和准确性。

核心思路：论文提出了一种新颖的事件因果关系识别方法，利用大型语言模型的能力来识别和理解故事中的因果关系，以此提升故事理解的质量和准确性。

技术框架：该方法的整体架构包括数据预处理、因果关系识别模型的训练和评估三个主要模块。首先，通过大型语言模型对故事文本进行分析，然后提取因果关系，最后进行性能评估。

关键创新：最重要的技术创新在于首次将事件因果关系识别与计算故事理解相结合，显著提升了因果事件关系的识别精度，与现有方法相比，提供了更为系统和有效的解决方案。

关键设计：在模型设计中，采用了特定的损失函数以优化因果关系的识别效果，并结合了多种参数设置以提高模型的泛化能力和准确性。

🖼️ 关键图片

img_0

📊 实验亮点

实验结果显示，提出的方法在COPES数据集上设立了新的最优基准，因果关系识别任务的性能显著提升。在下游故事质量评估任务中，与人类评分的相关性提高了3.6%-16.6%。在多模态故事视频-文本对齐任务中，Clip准确率和句子IoU分别提高了4.1%-10.9%和4.2%-13.5%。

🎯 应用场景

该研究的潜在应用领域包括自动故事生成、情感分析和多模态内容理解等。通过提升故事理解的能力，能够为教育、娱乐和人机交互等多个领域带来实际价值，未来可能推动更智能的内容推荐和生成系统的发展。

📄 摘要（原文）

Cognitive science and symbolic AI research suggest that event causality provides vital information for story understanding. However, machine learning systems for story understanding rarely employ event causality, partially due to the lack of methods that reliably identify open-world causal event relations. Leveraging recent progress in large language models, we present the first method for event causality identification that leads to material improvements in computational story understanding. Our technique sets a new state of the art on the COPES dataset (Wang et al., 2023) for causal event relation identification. Further, in the downstream story quality evaluation task, the identified causal relations lead to 3.6-16.6% relative improvement on correlation with human ratings. In the multimodal story video-text alignment task, we attain 4.1-10.9% increase on Clip Accuracy and 4.2-13.5% increase on Sentence IoU. The findings indicate substantial untapped potential for event causality in computational story understanding. The codebase is at https://github.com/insundaycathy/Event-Causality-Extraction.