DataSpace: Benchmarking Data Agents for Verifiable Analytics over Heterogeneous Workspaces
作者: Boyan Li, Zhuowen Liang, Yupeng Xie, Xiaotian Lin, Tianqi Luo, Xinyu Liu, Yizhang Zhu, Zhangyang Peng, Yuan Li, Zhengxuan Zhang, Jiayi Zhang, Nan Tang, Guoliang Li, Yuyu Luo
分类: cs.AI
发布日期: 2026-08-04
备注: 8 pages of main text, 7 figures, with a supplementary appendix
💡 一句话要点
提出DataSpace以解决异构工作空间中的数据代理分析问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 数据代理 异构工作空间 自然语言分析 多模态融合 基准测试
📋 核心要点
- 现有方法在异构工作空间中进行数据分析时，缺乏对证据发现和结果评估的统一处理，导致效率低下。
- 本文提出DataSpace基准，通过构建一个执行基础的框架，整合跨语言转换、约束感知的关系采样等技术，提升数据代理的分析能力。
- 实验结果显示，在六个前沿多模态模型和五个广泛使用的代理框架中，最佳准确率达到66.34%，但多模态证据整合对准确率有负面影响。
📝 摘要（中文）
数据代理使得在组织工作空间中进行自然语言分析成为可能，但现有基准测试主要集中于结构化查询、检索或开放式分析，缺乏对异构证据发现、完整表格输出和确定性评估的统一。为此，本文提出了DataSpace基准，旨在让数据代理从任务本地的异构工作空间中生成可验证的表格结果。DataSpace包含410个跨语言任务和7439个文档，总计15.01GB，涵盖CSV、JSON、SQLite、Markdown、PDF和视频等多种格式。此外，DataSpace还作为KDD Cup 2026数据代理复杂数据分析竞赛的官方评估基准。每个代理仅接收一个问题和工作空间，并返回完整的请求表格结果。
🔬 方法详解
问题定义：本文旨在解决现有数据代理在异构工作空间中进行分析时的效率和准确性问题。现有方法往往孤立处理结构化查询和开放式分析，缺乏对异构证据的有效整合和评估。
核心思路：论文提出DataSpace基准，旨在通过构建一个综合性的框架，使数据代理能够从多种数据源中生成可验证的表格结果。通过整合不同数据格式的处理能力，提升数据分析的全面性和准确性。
技术框架：DataSpace的构建依赖于DataSpace-Builder框架，包含跨语言转换、约束感知的关系采样、模态路由和文档渲染等模块。此外，11位领域专家参与了人工审核和任务修复，确保结果的可靠性。
关键创新：最重要的创新在于构建了一个综合性的评估框架，能够处理异构数据源并生成可验证的结果。这与现有方法的孤立处理方式形成鲜明对比，显著提升了数据代理的可靠性。
关键设计：在设计上，采用了确定性评估器进行列对齐、类型和精度感知的归一化，以及行顺序比较等技术细节，以确保结果的一致性和准确性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，在六个前沿多模态模型和五个广泛使用的代理框架中，最佳准确率达到66.34%。此外，代理框架的选择对结果有显著影响，固定骨干网络的情况下，准确率差异达到15.36个百分点。这些结果揭示了DataSpace的潜力和当前数据代理可靠性提升的关键挑战。
🎯 应用场景
该研究的潜在应用领域包括企业数据分析、智能问答系统和多模态信息检索等。通过提升数据代理在异构工作空间中的分析能力，能够为决策支持、信息提取和知识发现提供更为可靠的工具，未来可能在各行业中发挥重要作用。
📄 摘要（原文）
Data agents enable natural-language analytics over organizational workspaces, where relevant evidence may be scattered across databases, structured files, long documents, and multimedia. Existing benchmarks largely isolate structured querying, retrieval, or open-ended analysis, leaving heterogeneous evidence discovery, complete tabular outputs, and deterministic evaluation insufficiently unified. We introduce DataSpace, a benchmark in which data agents produce verifiable tabular results from task-local heterogeneous workspaces. It contains 410 cross-language tasks and 7,439 artifacts totaling 15.01 GB across CSV, JSON, SQLite, Markdown, PDF, and video. DataSpace also served as the official evaluation benchmark for the KDD Cup 2026 Data Agents for Complex Data Analysis competition. Each agent receives only a question and workspace and returns the complete requested tabular result. We construct DataSpace with DataSpace-Builder, an execution-grounded framework comprising cross-language transformation, constraint-aware relational sampling, modality routing and artifact rendering, and human review and task repair by 11 domain experts. A deterministic evaluator performs header-invariant column alignment, type- and precision-aware normalization, and order-aware row comparison. Across six recently released frontier multimodal models and five widely used agent harnesses, the best accuracy reaches 66.34%, while harness choice creates a 15.36-point spread with the backbone fixed. Multimodal evidence integration and joins consistently reduce accuracy across all six backbones. These results show that DataSpace remains unsaturated and identify key challenges for improving data-agent reliability.