SQLPrompt: In-Context Text-to-SQL with Minimal Labeled Data

📄 arXiv: 2311.02883v1 📥 PDF

作者: Ruoxi Sun, Sercan Ö. Arik, Rajarishi Sinha, Hootan Nakhost, Hanjun Dai, Pengcheng Yin, Tomas Pfister

分类: cs.CL

发布日期: 2023-11-06

💡 一句话要点

提出SQLPrompt以提升少量标注数据下的Text-to-SQL能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: Text-to-SQL 少量标注数据 大型语言模型 提示设计 一致性解码 SQL生成 机器学习

📋 核心要点

  1. 现有的Text-to-SQL方法在少量标注数据下表现不佳，难以有效生成准确的SQL查询。
  2. 论文提出的SQLPrompt通过创新的提示设计和一致性解码策略，提升了大型语言模型的SQL生成能力。
  3. 实验结果显示，SQLPrompt在少量标注数据的情况下，性能显著优于传统方法，接近于使用大量标注数据的微调模型。

📝 摘要（中文）

Text-to-SQL旨在自动生成数据库的SQL查询语句。本文提出了SQLPrompt，旨在提升大型语言模型在少量标注数据下的提示能力。我们的方法包括创新的提示设计、基于执行一致性的解码策略，该策略在多个SQL提案中选择执行结果最一致的SQL，以及通过不同的提示设计（MixPrompt）和基础模型（MixLLMs）来多样化SQL提案以提高性能。实验结果表明，SQLPrompt在少量标注数据的上下文学习中显著优于以往方法，缩小了与数千个标注数据的微调最先进方法之间的差距。

🔬 方法详解

问题定义：本文解决的是在少量标注数据下，如何有效生成SQL查询的问题。现有方法在这种情况下往往无法提供准确的查询结果，导致性能下降。

核心思路：SQLPrompt的核心思路是通过创新的提示设计和执行一致性解码策略，选择执行结果最一致的SQL提案，同时引入多样化的SQL提案以提升生成质量。

技术框架：整体架构包括多个模块：首先是提示设计模块，生成不同的SQL提案；其次是执行一致性解码模块，评估并选择最一致的SQL；最后是多样化模块，通过MixPrompt和MixLLMs进一步提升提案的多样性和准确性。

关键创新：最重要的技术创新在于执行一致性解码策略和多样化SQL提案的引入，这与传统的单一提案选择方法有本质区别，显著提升了生成的准确性和鲁棒性。

关键设计：在设计上，SQLPrompt使用了多种提示格式和基础模型，优化了损失函数以适应少量标注数据的学习需求，确保生成的SQL在执行时的一致性和准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，SQLPrompt在少量标注数据的上下文学习中，性能提升显著，超越了以往的方法，接近于使用数千个标注数据的微调模型，展示了在SQL生成任务中的强大能力。

🎯 应用场景

该研究的潜在应用场景包括数据库管理、智能问答系统和数据分析工具等领域。通过提升自然语言到SQL的转换能力，SQLPrompt可以帮助用户更高效地进行数据查询和分析，降低对专业知识的依赖，具有广泛的实际价值和未来影响。

📄 摘要（原文）

Text-to-SQL aims to automate the process of generating SQL queries on a database from natural language text. In this work, we propose "SQLPrompt", tailored to improve the few-shot prompting capabilities of Text-to-SQL for Large Language Models (LLMs). Our methods include innovative prompt design, execution-based consistency decoding strategy which selects the SQL with the most consistent execution outcome among other SQL proposals, and a method that aims to improve performance by diversifying the SQL proposals during consistency selection with different prompt designs ("MixPrompt") and foundation models ("MixLLMs"). We show that \emph{SQLPrompt} outperforms previous approaches for in-context learning with few labeled data by a large margin, closing the gap with finetuning state-of-the-art with thousands of labeled data.