LogicBench: Towards Systematic Evaluation of Logical Reasoning Ability of Large Language Models

📄 arXiv: 2404.15522v2 📥 PDF

作者: Mihir Parmar, Nisarg Patel, Neeraj Varshney, Mutsumi Nakamura, Man Luo, Santosh Mashetty, Arindam Mitra, Chitta Baral

分类: cs.CL, cs.AI

发布日期: 2024-04-23 (更新: 2024-06-06)

备注: Accepted at ACL(Main) 2024 | First version available @ https://openreview.net/forum?id=7NR2ZVzZxx

🔗 代码/项目: GITHUB

💡 一句话要点

提出LogicBench以系统评估大型语言模型的逻辑推理能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 逻辑推理 大型语言模型 自然语言处理 数据集构建 推理能力评估 链式思维提示 人工智能

📋 核心要点

  1. 现有大型语言模型在逻辑推理能力评估上存在不足，尤其是对复杂推理和否定的处理能力较弱。
  2. 论文提出LogicBench数据集，系统评估LLMs在25种逻辑推理模式下的表现，聚焦于单一推理规则。
  3. 实验结果表明，现有LLMs在LogicBench上表现不佳，尤其在复杂推理任务中，显示出逻辑推理能力的不足。

📝 摘要（中文）

近年来开发的大型语言模型（LLMs）在多种语言理解任务上表现出色，但它们在自然语言中的推理能力仍然值得探讨。尽管已有研究关注常识、数值和定性推理等技能，但逻辑推理能力的研究相对较少。现有研究主要集中在命题逻辑和一阶逻辑的少数推理规则上。为此，本文全面评估LLMs在25种推理模式下的逻辑推理能力，并引入LogicBench数据集，专注于单一推理规则的自然语言问答。实验结果显示，现有LLMs在LogicBench上表现不佳，尤其在复杂推理和否定实例中存在困难，且有时忽视了推理所需的上下文信息。我们认为本研究的发现将促进未来对LLMs逻辑推理能力的评估与提升。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在逻辑推理能力评估中的不足，尤其是针对复杂推理和否定的处理能力。现有研究主要集中在少数推理规则上，缺乏全面的评估体系。

核心思路：论文通过引入LogicBench数据集，系统地评估LLMs在25种不同推理模式下的表现，强调单一推理规则的应用，以便更好地理解模型的逻辑推理能力。

技术框架：整体架构包括数据集构建、模型选择（如GPT-4、ChatGPT等）、链式思维提示的应用，以及对模型推理结果的详细分析。

关键创新：最重要的创新点在于LogicBench数据集的构建，它涵盖了多种逻辑推理模式，提供了一个系统化的评估平台，与现有方法相比，能够更全面地评估LLMs的逻辑推理能力。

关键设计：在实验中，采用了链式思维提示技术，确保模型能够在推理过程中考虑上下文信息，此外，数据集中的推理模式设计也考虑了多样性和复杂性，以更好地测试模型的推理能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，现有大型语言模型在LogicBench上的表现不佳，尤其在涉及复杂推理和否定的实例中，准确率显著低于预期。这表明当前模型在逻辑推理能力上存在明显不足，为后续研究提供了重要的改进方向。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、智能问答系统和教育技术等。通过提升大型语言模型的逻辑推理能力，可以增强其在复杂任务中的表现，从而提高人机交互的智能水平和准确性。未来，该研究可能对AI系统的推理能力提升和应用场景扩展产生深远影响。

📄 摘要（原文）

Recently developed large language models (LLMs) have been shown to perform remarkably well on a wide range of language understanding tasks. But, can they really "reason" over the natural language? This question has been receiving significant research attention and many reasoning skills such as commonsense, numerical, and qualitative have been studied. However, the crucial skill pertaining to 'logical reasoning' has remained underexplored. Existing work investigating this reasoning ability of LLMs has focused only on a couple of inference rules (such as modus ponens and modus tollens) of propositional and first-order logic. Addressing the above limitation, we comprehensively evaluate the logical reasoning ability of LLMs on 25 different reasoning patterns spanning over propositional, first-order, and non-monotonic logics. To enable systematic evaluation, we introduce LogicBench, a natural language question-answering dataset focusing on the use of a single inference rule. We conduct detailed analysis with a range of LLMs such as GPT-4, ChatGPT, Gemini, Llama-2, and Mistral using chain-of-thought prompting. Experimental results show that existing LLMs do not fare well on LogicBench; especially, they struggle with instances involving complex reasoning and negations. Furthermore, they sometimes overlook contextual information necessary for reasoning to arrive at the correct conclusion. We believe that our work and findings facilitate future research for evaluating and enhancing the logical reasoning ability of LLMs. Data and code are available at https://github.com/Mihir3009/LogicBench.