Are LLMs Capable of Data-based Statistical and Causal Reasoning? Benchmarking Advanced Quantitative Reasoning with Data

📄 arXiv: 2402.17644v2 📥 PDF

作者: Xiao Liu, Zirui Wu, Xueqing Wu, Pan Lu, Kai-Wei Chang, Yansong Feng

分类: cs.CL, cs.AI

发布日期: 2024-02-27 (更新: 2024-06-09)

备注: Findings of ACL 2024. Project website: https://xxxiaol.github.io/QRData/

🔗 代码/项目: GITHUB

💡 一句话要点

提出QRData基准以评估LLMs在数据驱动的统计与因果推理能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 定量推理 大型语言模型 因果推理 数据分析 基准评估 机器学习 自然语言处理

📋 核心要点

  1. 现有方法在评估大型语言模型的定量推理能力时存在不足，尤其是在统计和因果推理方面。
  2. 本文提出QRData基准，通过构建包含真实数据的问题集，系统评估LLMs在定量推理中的表现。
  3. 实验结果显示，GPT-4的准确率为58%，而开源模型的最高准确率为37，表明仍有提升空间。

📝 摘要（中文）

定量推理是分析数据的重要技能，但对这一能力的评估仍然有限。为填补这一空白，本文提出了定量推理与数据（QRData）基准，旨在评估大型语言模型在真实数据上的统计和因果推理能力。该基准包含411个问题及其对应的数据表，来源于教科书、在线学习材料和学术论文。此外，为了比较模型在数据和文本上的定量推理能力，基准还增加了290个仅文本的问题（QRText）。我们评估了自然语言推理、基于程序的推理和代理推理方法，包括Chain-of-Thought、Program-of-Thoughts、ReAct和代码解释助手在不同模型上的表现。最强模型GPT-4的准确率为58%，而开源模型Deepseek-coder-instruct的最高准确率为37%。分析表明，模型在数据分析和因果推理方面存在困难，尤其是在同时使用因果知识和提供的数据时。

🔬 方法详解

问题定义：本文旨在解决对大型语言模型在数据驱动的统计和因果推理能力评估不足的问题。现有方法未能有效评估模型在真实数据上的推理能力，尤其是在因果推理方面的挑战。

核心思路：论文提出QRData基准，通过构建包含411个问题的数据集，结合290个文本问题，全面评估模型的定量推理能力，特别是在数据分析和因果推理方面的表现。

技术框架：整体架构包括数据集构建、模型评估和结果分析三个主要模块。数据集由真实数据和文本问题组成，模型评估涵盖多种推理方法，最后进行结果的比较与分析。

关键创新：最重要的创新点在于构建了QRData基准，系统性地评估了LLMs在定量推理中的表现，尤其是结合数据和因果知识的能力，这是现有方法所缺乏的。

关键设计：在数据集构建中，精心选择了来自不同领域的真实数据，确保问题的多样性和挑战性。同时，采用了多种推理方法进行评估，以全面了解模型的能力和局限性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，GPT-4在QRData基准上的准确率为58%，而开源模型Deepseek-coder-instruct的最高准确率为37%。这些结果表明，当前模型在数据分析和因果推理方面仍有显著的提升空间。

🎯 应用场景

该研究的潜在应用领域包括教育、数据分析和智能助手等。通过评估和提升LLMs在定量推理方面的能力，可以为数据驱动的决策提供更强大的支持，推动相关领域的智能化发展。

📄 摘要（原文）

Quantitative reasoning is a critical skill to analyze data, yet the assessment of such ability remains limited. To address this gap, we introduce the Quantitative Reasoning with Data (QRData) benchmark, aiming to evaluate Large Language Models' capability in statistical and causal reasoning with real-world data. The benchmark comprises a carefully constructed dataset of 411 questions accompanied by data sheets from textbooks, online learning materials, and academic papers. To compare models' quantitative reasoning abilities on data and text, we enrich the benchmark with an auxiliary set of 290 text-only questions, namely QRText. We evaluate natural language reasoning, program-based reasoning, and agent reasoning methods including Chain-of-Thought, Program-of-Thoughts, ReAct, and code interpreter assistants on diverse models. The strongest model GPT-4 achieves an accuracy of 58%, which has much room for improvement. Among open-source models, Deepseek-coder-instruct, a code LLM pretrained on 2T tokens, gets the highest accuracy of 37%. Analysis reveals that models encounter difficulties in data analysis and causal reasoning, and struggle in using causal knowledge and provided data simultaneously. Code and data are in https://github.com/xxxiaol/QRData.