Data Interpreter: An LLM Agent For Data Science

📄 arXiv: 2402.18679v4 📥 PDF

作者: Sirui Hong, Yizhang Lin, Bang Liu, Bangbang Liu, Binhao Wu, Ceyao Zhang, Chenxing Wei, Danyang Li, Jiaqi Chen, Jiayi Zhang, Jinlin Wang, Li Zhang, Lingyao Zhang, Min Yang, Mingchen Zhuge, Taicheng Guo, Tuo Zhou, Wei Tao, Xiangru Tang, Xiangtao Lu, Xiawu Zheng, Xinbing Liang, Yaying Fei, Yuheng Cheng, Zhibin Gou, Zongze Xu, Chenglin Wu

分类: cs.AI, cs.LG

发布日期: 2024-02-28 (更新: 2024-10-15)

🔗 代码/项目: GITHUB

💡 一句话要点

提出Data Interpreter以解决数据科学中的复杂任务问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 数据科学 自动化处理 层次图建模 可编程节点生成 机器学习 动态数据调整

📋 核心要点

  1. 现有方法主要集中于单一任务，难以处理数据科学中的复杂互联任务和动态数据变化。
  2. 本文提出的Data Interpreter通过层次图建模和可编程节点生成，自动化解决数据科学问题，提升任务处理能力。
  3. 在InfiAgent-DABench和MATH数据集上，Data Interpreter的性能分别提升了25%和26%，显示出显著的准确性提高。

📝 摘要（中文）

基于大型语言模型（LLM）的代理在多个应用中表现出色，但在需要解决长期互联任务、动态数据调整和领域专业知识的数据科学场景中仍面临挑战。现有方法主要集中于单一任务，难以评估完整的数据科学工作流，并且无法实时处理中间数据的变化，无法动态适应数据科学问题固有的任务依赖性。本文提出了Data Interpreter，一个旨在自动解决各种数据科学问题的LLM代理，涵盖了两个关键模块：1) 层次图建模，将复杂问题分解为可管理的子问题，实现动态节点生成和图优化；2) 可编程节点生成，逐步改进代码生成结果和鲁棒性。实验结果表明，Data Interpreter在多个基准测试中表现优异。

🔬 方法详解

问题定义：本文旨在解决数据科学领域中复杂任务的自动化处理问题。现有方法往往局限于单一任务，难以应对动态数据和任务依赖性带来的挑战。

核心思路：Data Interpreter通过将复杂问题分解为可管理的子问题，并动态生成和优化图结构，来实现对数据科学问题的全面解决。可编程节点生成技术则确保了每个子问题的精确处理和代码生成的鲁棒性。

技术框架：整体架构包括两个主要模块：层次图建模和可编程节点生成。层次图建模负责将复杂问题分解为子问题并优化图结构，而可编程节点生成则负责对每个子问题进行细化和验证。

关键创新：最重要的技术创新在于层次图建模和可编程节点生成的结合，使得Data Interpreter能够动态适应数据科学问题的变化，显著提升了任务处理的灵活性和准确性。

关键设计：在设计中，采用了动态节点生成机制和图优化算法，以确保高效处理复杂任务。同时，节点生成过程中的参数设置和损失函数设计也经过精心调整，以提高代码生成的质量和鲁棒性。

🖼️ 关键图片

img_0

📊 实验亮点

在实验中，Data Interpreter在InfiAgent-DABench上实现了25%的性能提升，准确率从75.9%提高至94.9%。在机器学习和开放式任务中，性能分别从88%提升至95%和从60%提升至97%。在MATH数据集上，Data Interpreter的表现也超越了现有最先进的基线，提升幅度达到26%。

🎯 应用场景

Data Interpreter的潜在应用场景包括数据分析、机器学习模型开发、实时数据处理等领域。其自动化处理能力能够显著提高数据科学工作流的效率，降低人工干预的需求，具有广泛的实际价值和未来影响。

📄 摘要（原文）

Large Language Model (LLM)-based agents have shown effectiveness across many applications. However, their use in data science scenarios requiring solving long-term interconnected tasks, dynamic data adjustments and domain expertise remains challenging. Previous approaches primarily focus on individual tasks, making it difficult to assess the complete data science workflow. Moreover, they struggle to handle real-time changes in intermediate data and fail to adapt dynamically to evolving task dependencies inherent to data science problems. In this paper, we present Data Interpreter, an LLM-based agent designed to automatically solve various data science problems end-to-end. Our Data Interpreter incorporates two key modules: 1) Hierarchical Graph Modeling, which breaks down complex problems into manageable subproblems, enabling dynamic node generation and graph optimization; and 2) Programmable Node Generation, a technique that refines and verifies each subproblem to iteratively improve code generation results and robustness. Extensive experiments consistently demonstrate the superiority of Data Interpreter. On InfiAgent-DABench, it achieves a 25% performance boost, raising accuracy from 75.9% to 94.9%. For machine learning and open-ended tasks, it improves performance from 88% to 95%, and from 60% to 97%, respectively. Moreover, on the MATH dataset, Data Interpreter achieves remarkable performance with a 26% improvement compared to state-of-the-art baselines. The code is available at https://github.com/geekan/MetaGPT.