DSAEval: Evaluating Data Science Agents on a Wide Range of Real-World Data Science Problems

📄 arXiv: 2601.13591 📥 PDF

作者: Maojun Sun, Yifei Xie, Yue Wu, Ruijian Han, Binyan Jiang, Defeng Sun, Yancheng Yuan, Jian Huang

分类: cs.AI, cs.CL

发布日期: 2026-06-12

💡 一句话要点

提出DSAEval以评估数据科学代理在真实问题上的表现

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 数据科学代理 多模态感知 基准测试 性能评估 真实世界问题

📋 核心要点

  1. 现有的基于LLM的数据科学代理在评估真实世界数据科学问题时面临开放性和缺乏标准答案的挑战。
  2. 论文提出DSAEval基准，涵盖多种数据类型和真实问题，增强了对数据科学代理的评估能力。
  3. 实验结果显示，Claude-Sonnet-4.5表现最佳，多模态感知显著提升视觉任务的性能，提升幅度达2.04%至11.30%。

📝 摘要（中文）

近年来，基于大型语言模型（LLM）的数据代理旨在自动化数据科学任务，包括数据分析和深度学习。然而，真实数据科学问题的开放性特征，常常跨越多个分类且缺乏标准答案，给评估带来了重大挑战。为此，本文提出了DSAEval，一个基准测试，涵盖641个真实数据科学问题，基于285个多样化的数据集，涉及结构化和非结构化数据（如图像和文本）。DSAEval具有三个独特特点：多模态环境感知、多查询交互和多维度评估。通过DSAEval对13个先进的代理LLM进行系统评估，结果显示Claude-Sonnet-4.5在整体表现上最强，MiMo-V2-Pro和GPT-5.2在时间和步骤效率上领先，而MiMo-V2-Flash则是最具成本效益的。研究还表明，多模态感知在视觉相关任务上表现出一致的性能提升，总体而言，当前数据科学代理在结构化数据和常规数据分析工作流上表现良好，但在非结构化领域仍面临重大挑战。

🔬 方法详解

问题定义：本文旨在解决如何有效评估基于LLM的数据科学代理在真实世界数据科学问题上的表现。现有方法在面对开放性问题时缺乏标准化的评估机制，导致评估结果不够全面和准确。

核心思路：DSAEval通过构建一个包含多样化数据集和真实问题的基准，提供了一个多维度的评估框架，旨在更好地反映数据科学代理在实际应用中的表现。

技术框架：DSAEval的整体架构包括三个主要模块：多模态环境感知模块、支持多查询交互的模块，以及多维度评估模块。这些模块共同作用，以全面评估代理的推理能力、代码生成和结果质量。

关键创新：DSAEval的最大创新在于其多模态感知能力，允许代理从文本和视觉等多种模态中进行观察和理解，与传统单一模态评估方法形成鲜明对比。

关键设计：在设计中，DSAEval采用了多样化的数据集，涵盖结构化和非结构化数据，并通过多查询交互模拟真实数据科学项目的迭代过程，确保评估的真实性和有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，Claude-Sonnet-4.5在整体性能上表现最佳，而MiMo-V2-Pro和GPT-5.2在时间和步骤效率上分别领先。多模态感知在视觉任务上带来了2.04%至11.30%的性能提升，显示出其在实际应用中的重要性。

🎯 应用场景

该研究的潜在应用领域包括数据科学教育、自动化数据分析工具的开发以及数据科学代理的性能评估。DSAEval为研究人员和开发者提供了一个标准化的评估框架，能够帮助他们更好地理解和改进数据科学代理的能力，推动该领域的进一步发展。

📄 摘要（原文）

Recent LLM-based data agents aim to automate data science tasks ranging from data analysis to deep learning. However, the open-ended nature of real-world data science problems, which often span multiple taxonomies and lack standard answers, poses a significant challenge for evaluation. To address this, we introduce DSAEval, a benchmark comprising 641 real-world data science problems grounded in 285 diverse datasets, covering both structured and unstructured data (e.g., image and text). DSAEval incorporates three distinctive features: (1) Multimodal Environment Perception, which enables agents to interpret observations from multiple modalities, including text and vision; (2) Multi-Query Interactions, which mirror the iterative and cumulative nature of real-world data science projects; and (3) Multi-Dimensional Evaluation, which provides a holistic assessment across reasoning, code, and results. We systematically evaluate 13 recent advanced agentic LLMs using DSAEval. Our results show that Claude-Sonnet-4.5 achieves the strongest overall performance, MiMo-V2-Pro and GPT-5.2 lead in duration and step efficiency, respectively, and MiMo-V2-Flash is the most cost-effective. We further demonstrate that multimodal perception consistently improves performance on vision-related tasks, with gains ranging from 2.04\% to 11.30\%. Overall, while current data science agents perform well on structured data and routine data analysis workflows, substantial challenges remain in unstructured domains. Finally, we offer critical insights and outline future research directions.