A Comprehensive Evaluation on Event Reasoning of Large Language Models

📄 arXiv: 2404.17513v2 📥 PDF

作者: Zhengwei Tao, Zhi Jin, Yifan Zhang, Xiancai Chen, Haiyan Zhao, Jia Li, Bing Liang, Chongyang Tao, Qun Liu, Kam-Fai Wong

分类: cs.CL, cs.AI

发布日期: 2024-04-26 (更新: 2024-08-02)

💡 一句话要点

提出EV2基准以评估大型语言模型的事件推理能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 事件推理 大型语言模型 EV2基准 自然语言处理 知识利用

📋 核心要点

  1. 现有大型语言模型在事件推理能力上存在显著不足，尤其是在处理多样的事件关系和推理范式时表现不佳。
  2. 本文提出了EV2基准，通过双重评估模式和实例，全面评估LLMs的事件推理能力，旨在填补现有研究的空白。
  3. 实验结果表明，LLMs在事件推理方面的表现远未达到预期，且在如何利用事件模式知识上与人类存在不对齐现象。

📝 摘要（中文）

事件推理是许多应用的基础能力，涉及事件模式知识的全球推理及处理事件间关系的多样性。本文评估了大型语言模型（LLMs）在不同关系和推理范式下的事件推理能力，提出了新的基准EV2，涵盖了模式和实例的双重评估。实验结果显示，尽管LLMs具备一定的事件推理能力，但其表现仍不尽如人意，且在事件推理能力上存在不平衡现象。基于这些发现，本文指导LLMs更好地利用事件模式知识，从而提升事件推理的效果。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在事件推理能力评估中的不足，现有方法未能全面考量事件间关系及推理范式的多样性。

核心思路：提出EV2基准，涵盖事件模式和实例的双重评估，旨在系统性地评估LLMs在事件推理方面的能力。通过引导LLMs更好地利用事件模式知识，提升其推理能力。

技术框架：EV2基准由两个主要模块组成：事件模式评估和事件实例评估。每个模块针对不同的推理关系和范式进行设计，确保全面性和多样性。

关键创新：最重要的创新在于引入了双重评估机制，使得评估不仅限于单一维度，能够更全面地反映LLMs的事件推理能力。与现有方法相比，EV2提供了更系统的评估框架。

关键设计：在设计EV2时，考虑了多种事件关系和推理范式，确保评估的全面性。同时，针对LLMs的知识利用方式进行了优化，以提升其在事件推理任务中的表现。具体的损失函数和参数设置在实验中进行了细致调整。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，尽管LLMs在事件推理方面具备一定能力，但整体表现仍不理想，尤其在复杂关系和推理范式下的表现较差。通过引导LLMs更好地利用事件模式知识，事件推理能力有显著提升，具体提升幅度待进一步量化。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、智能问答系统和自动推理等。通过提升大型语言模型的事件推理能力，可以在更复杂的场景中实现更准确的理解和推理，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Event reasoning is a fundamental ability that underlies many applications. It requires event schema knowledge to perform global reasoning and needs to deal with the diversity of the inter-event relations and the reasoning paradigms. How well LLMs accomplish event reasoning on various relations and reasoning paradigms remains unknown. To mitigate this disparity, we comprehensively evaluate the abilities of event reasoning of LLMs. We introduce a novel benchmark EV2 for EValuation of EVent reasoning. EV2 consists of two levels of evaluation of schema and instance and is comprehensive in relations and reasoning paradigms. We conduct extensive experiments on EV2. We find that LLMs have abilities to accomplish event reasoning but their performances are far from satisfactory. We also notice the imbalance of event reasoning abilities in LLMs. Besides, LLMs have event schema knowledge, however, they're not aligned with humans on how to utilize the knowledge. Based on these findings, we guide the LLMs in utilizing the event schema knowledge as memory leading to improvements on event reasoning.