StatABench: Dataset and Framework for Evaluating Statistical Analysis Capabilities of LLMs

📄 arXiv: 2606.22977v1 📥 PDF

作者: Youxin Zhu, Yixuan Ding, Peng Lai, Longyue Wang, Bingyi Jing, Guanhua Chen

分类: cs.CL, cs.AI

发布日期: 2026-06-22

💡 一句话要点

提出StatABench以系统评估LLMs的统计分析能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 统计分析 大型语言模型 基准测试 数据科学 开放式任务 模型评估 工具基础推理

📋 核心要点

  1. 现有的评估方法在统计分析领域的范围和格式上存在局限，无法全面反映LLMs的能力。
  2. 本文提出StatABench基准，包含Stat-Closed和Stat-Open两个部分，系统评估LLMs的统计分析能力。
  3. 实验表明，当前LLMs在统计分析任务中的表现仍有显著差距，尤其是在工具基础推理和方法决策方面。

📝 摘要（中文）

统计分析是一个复杂的领域，既需要领域知识又需工具熟练度。尽管已有研究评估了大型语言模型（LLMs）在该领域的表现，但现有基准在范围和格式上仍然有限。为此，本文提出了StatABench（统计分析基准），旨在系统性评估LLMs的统计分析能力。StatABench包含两个互补组件：Stat-Closed，涵盖18个统计主题的404个问题，形式多样（选择题、填空题、决策和实际应用）；Stat-Open则包含30个复杂的开放式建模任务，改编自专业竞赛。通过LangChain MCP框架和多个数据科学代理评估不同LLMs，使用经过验证的LLM-as-Judge协议评估Stat-Open的解决方案。实验结果显示，即便是GPT-5.1在Stat-Closed上仅达到68.6%的准确率，而最佳开源模型仅为60.6%。在Stat-Open中，顶级代理框架的平均得分为61.86。这些结果揭示了当前LLMs与可靠统计分析之间的差距，突显了工具基础推理、方法决策和端到端统计建模的持续挑战。

🔬 方法详解

问题定义：本文旨在解决现有评估方法在统计分析领域的不足，特别是缺乏系统性和多样性的基准测试。现有方法无法全面评估LLMs在统计分析中的能力和应用。

核心思路：论文的核心思路是通过构建StatABench基准，提供多样化的问题形式和复杂的建模任务，以全面评估LLMs的统计分析能力。这种设计旨在填补现有评估的空白。

技术框架：StatABench由两个主要模块组成：Stat-Closed和Stat-Open。Stat-Closed包含多种形式的问题，涵盖多个统计主题；Stat-Open则提供复杂的开放式建模任务。评估使用LangChain MCP框架和多个数据科学代理进行。

关键创新：最重要的创新点在于StatABench的设计，特别是其多样化的问题类型和开放式任务，这与现有的单一格式评估方法有本质区别。

关键设计：在设计中，Stat-Closed的问题涵盖选择题、填空题等多种形式，而Stat-Open则聚焦于复杂的建模任务，确保评估的全面性和深度。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，GPT-5.1在Stat-Closed上仅达到68.6%的准确率，而最佳开源模型的得分为60.6%。在Stat-Open中，顶级代理框架的平均得分为61.86。这些数据表明，当前LLMs在统计分析能力上仍存在显著不足。

🎯 应用场景

该研究的潜在应用领域包括教育、数据科学和人工智能等，能够为统计分析工具的开发和评估提供标准化的参考框架。未来，StatABench可能推动LLMs在统计分析领域的进一步应用与发展，提升其在实际问题解决中的有效性。

📄 摘要（原文）

Statistical analysis is a broad, complex field requiring both domain knowledge and tool proficiency. While prior work has evaluated large language models (LLMs) in this domain, existing benchmarks remain limited in scope and format. To bridge this gap, we introduce StatABench (Statistical AnalysisBenchmark), a benchmark designed to systematically assess LLMs' statistical analysis capabilities. StatABench comprises two complementary components: Stat-Closed, containing 404 questions across 18 statistical topics in multiple formats (multiple-choice, fill-in-the-blank, decision-making, and practical application), and Stat-Open, featuring 30 complex open-ended modeling tasks adapted from professional competitions. We evaluate diverse LLMs using the LangChain MCP framework and multiple data science agents, and assess Stat-Open solutions via a validated LLM-as-Judge protocol. Experiments show that even GPT-5.1 achieves only 68.6% on Stat-Closed, while the best open-source model reaches 60.6%. On Stat-Open, the top agent framework scores 61.86 on average. These results reveal the gap between current LLMs and reliable statistical analysis, highlighting persistent challenges in tool-grounded reasoning, methodological decision-making, and end-to-end statistical modeling.