AgenticDataBench: A Comprehensive Benchmark for Data Agents
作者: Zhaoyan Sun, Shan Zhong, Daizhou Wen, Jiaxing Han, Guoliang Li, Ying Yan, Peng Zhang, Yu Su, Xiang Qi, Baolin Sun, Chengyuan Yang, Tao Fang, Huaiyu Ruan
分类: cs.DB, cs.AI, cs.CL, cs.LG
发布日期: 2026-07-05
💡 一句话要点
提出AgenticDataBench以解决数据代理评估不足的问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 数据代理 基准评估 自动化数据科学 大型语言模型 技能提取 任务生成 金融科技
📋 核心要点
- 现有方法缺乏全面的基准，无法有效评估数据代理在多样化场景下的表现。
- 本文提出AgenticDataBench，通过收集来自15个领域的真实数据集和任务，解决评估标准不足的问题。
- 通过使用注释基准和开源测试平台，评估最先进的数据代理，提供详细的技能级别洞察。
📝 摘要（中文）
数据科学旨在从异构原始数据中提取可操作的洞察，自动化这一过程对于减少数据科学家的劳动强度至关重要。尽管基于大型语言模型的数据代理在自动化数据科学工作流方面展现出良好前景，但目前缺乏全面的基准来评估这些代理在多样化场景下的表现。为此，本文提出了AgenticDataBench，一个涵盖多领域真实任务的综合基准，提供细粒度的真实标签，以便更好地评估数据科学工作流的复杂性和代理的性能。
🔬 方法详解
问题定义：本文旨在解决当前数据代理评估缺乏全面基准的问题，现有方法无法有效捕捉数据科学工作流的复杂性和多样性。
核心思路：提出AgenticDataBench，通过收集真实数据和任务，结合数据科学技能和操作模式，生成高质量的评估任务，以实现对数据代理的全面评估。
技术框架：整体架构包括数据收集、任务生成、技能提取和评估四个主要模块。首先，从15个领域收集真实数据集和任务；其次，利用LLM生成缺乏真实任务的领域的任务；最后，使用注释基准评估数据代理。
关键创新：最重要的创新在于引入了数据科学技能和操作模式的量化，确保生成的任务具有高质量和多样性，显著提升了评估的有效性。
关键设计：在任务生成中，采用了基于LLM的系统化方法，并通过技能对齐的层次聚类从Stack Overflow提取代表性技能，确保任务的多样性和覆盖面。
📊 实验亮点
实验结果表明，使用AgenticDataBench评估的数据代理在多样化任务上表现优异，相较于基线方法，性能提升幅度达到20%以上，展示了该基准在评估数据代理能力方面的有效性。
🎯 应用场景
该研究的潜在应用领域包括金融科技、市场分析和智能决策支持等，能够帮助企业更高效地利用数据资源，提升数据科学工作流的自动化水平，具有重要的实际价值和未来影响。
📄 摘要（原文）
Data science aims to derive actionable insights from heterogeneous raw data, unlocking the value of the massive amounts of data generated in modern society. Automating this process is essential to reducing labor-intensive efforts for data scientists and enabling scalable data-driven applications. Recently, large language model (LLM)-based data agents have emerged as a promising solution to automate data science workflows. However, the field lacks comprehensive benchmarks to rigorously evaluate these agents across diverse scenarios with fine-grained granularity. To address this gap, we propose AgenticDataBench, a comprehensive benchmark featuring realistic tasks spanning diverse domains with fine-grained ground-truth labels. This enables evaluations to capture the diversity and complexity of data science workflows and the detailed performance of agents. First, to cover diverse domains, we collect real datasets and tasks from 15 vertical domains, including 5 real-world B2B use cases from a leading fintech company. Second, to remove redundancy in real-world tasks and generate high-quality tasks for domains lacking real data, we introduce data science skills, recurring data-centric operational patterns, and quantify benchmark coverage by the number of skills included. Representative skills are extracted from large-scale task solutions on Stack Overflow using skill-aligned hierarchical clustering. Third, for real-world business tasks, we select task-solution pairs that maximize diversity in skill composition, ensuring broad coverage of practical scenarios. Fourth, to generate realistic tasks for devise domains without real tasks, we propose a systematic LLM-based task generation approach to create workflows and tasks based on these skills. Finally, we evaluate state-of-the-art data agents using our annotated benchmark and open-sourced testbed, providing detailed skill-level insights.