Solving Data-centric Tasks using Large Language Models
作者: Shraddha Barke, Christian Poelitz, Carina Suzana Negreanu, Benjamin Zorn, José Cambronero, Andrew D. Gordon, Vu Le, Elnaz Nouri, Nadia Polikarpova, Advait Sarkar, Brian Slininger, Neil Toronto, Jack Williams
分类: cs.PL, cs.AI, cs.SE
发布日期: 2024-02-18 (更新: 2024-03-25)
备注: Paper accepted to NAACL 2024 (Findings)
💡 一句话要点
提出集群选择技术以解决数据中心任务
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 数据中心任务 自然语言处理 集群选择 数据分析 机器学习 自动化办公
📋 核心要点
- 现有方法在处理数据中心任务时，往往无法有效利用输入数据，导致性能不足。
- 本文提出了一种集群选择提示技术，通过选择最具代表性的行来增强LLM的输入提示。
- 实验结果显示，集群选择技术在处理输入表句法变化较大的任务时，性能显著优于随机选择基线。
📝 摘要（中文）
大型语言模型（LLMs）正在迅速取代像StackOverflow这样的帮助论坛，尤其对非专业程序员和最终用户非常有帮助。这些用户通常关注数据中心任务，如电子表格操作和数据整理，这些任务在仅用自然语言描述意图而不包含数据时难以解决。本文的贡献在于创建了一个真实世界的自然语言到代码任务的数据集，并引入了一种集群选择提示技术，将输入数据中最具代表性的行添加到LLM提示中。实验表明，LLM的性能确实对提示中传递的数据量敏感，对于输入表中存在大量句法变化的任务，集群选择技术的表现优于随机选择基线。
🔬 方法详解
问题定义：本文旨在解决如何有效选择和包含数据以提升大型语言模型在数据中心任务中的表现。现有方法在仅依赖自然语言描述时，难以充分利用数据，导致性能不足。
核心思路：论文提出的集群选择提示技术，通过分析输入数据的结构，选择最具代表性的行来增强模型的输入提示，从而提高任务的解决能力。
技术框架：整体流程包括数据集的构建、集群分析和选择代表性行的步骤。首先，从StackOverflow中挖掘真实的NL到代码任务数据集；然后，对输入数据进行聚类分析，最后选择每个聚类中最具代表性的行添加到提示中。
关键创新：最重要的创新点在于集群选择提示技术，它通过数据聚类来优化输入提示，而不是简单的随机选择。这一方法在处理输入表中存在大量句法变化的任务时表现更佳。
关键设计：在技术细节上，论文对聚类算法的选择、代表性行的定义以及如何将这些行有效整合到LLM提示中进行了详细探讨。
🖼️ 关键图片
📊 实验亮点
实验结果显示，集群选择技术在处理输入表句法变化较大的任务时，性能提升显著，相比随机选择基线，准确率提高了XX%（具体数据未知），证明了该方法在实际应用中的有效性。
🎯 应用场景
该研究的潜在应用领域包括数据分析、商业智能和自动化办公等场景。通过提升大型语言模型在数据中心任务中的表现，可以帮助非专业用户更高效地处理数据，提高工作效率，降低对专业编程知识的依赖，具有广泛的实际价值和未来影响。
📄 摘要（原文）
Large language models (LLMs) are rapidly replacing help forums like StackOverflow, and are especially helpful for non-professional programmers and end users. These users are often interested in data-centric tasks, such as spreadsheet manipulation and data wrangling, which are hard to solve if the intent is only communicated using a natural-language description, without including the data. But how do we decide how much data and which data to include in the prompt? This paper makes two contributions towards answering this question. First, we create a dataset of real-world NL-to-code tasks manipulating tabular data, mined from StackOverflow posts. Second, we introduce a cluster-then-select prompting technique, which adds the most representative rows from the input data to the LLM prompt. Our experiments show that LLM performance is indeed sensitive to the amount of data passed in the prompt, and that for tasks with a lot of syntactic variation in the input table, our cluster-then-select technique outperforms a random selection baseline.