Dubo-SQL: Diverse Retrieval-Augmented Generation and Fine Tuning for Text-to-SQL

📄 arXiv: 2404.12560v1 📥 PDF

作者: Dayton G. Thorpe, Andrew J. Duberstein, Ian A. Kinsey

分类: cs.CL, cs.DB

发布日期: 2024-04-19

备注: 10 pages, 3 figures, 3 tables

💡 一句话要点

提出Dubo-SQL以提升文本到SQL转换的执行准确性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 文本到SQL 执行准确性 检索增强生成 低成本微调 自然语言处理 大语言模型 数据库查询 智能问答

📋 核心要点

  1. 现有的文本到SQL转换方法在执行准确性上仍低于人类专家水平，且速度和成本较高。
  2. 本文提出Dubo-SQL v1和v2，通过低成本微调和多样化检索增强生成方法，提升了执行准确性。
  3. Dubo-SQL v1在BIRD-SQL测试集上创下新纪录，Dubo-SQL v2在开发集上表现更佳，均显著超越了现有最佳模型。

📝 摘要（中文）

当前自动化文本到SQL的最先进技术在执行准确性（EX）上仍远未达到专家人类的表现，尤其是在BIRD-SQL基准测试中。为提升EX并降低成本，本文探索了低成本微调、创新的多样化检索增强生成（RAG）方法以及新的输入输出格式。我们提出了Dubo-SQL v1和v2两种新方法，其中Dubo-SQL v1在BIRD-SQL的保留测试集上创下EX新纪录，而Dubo-SQL v2在开发集上表现更佳。Dubo-SQL v1使用OpenAI的GPT-3.5 Turbo，超越了使用更昂贵的GPT-4的下一最佳模型，性能提升超过20%。Dubo-SQL v2则采用GPT-4 Turbo和RAG替代微调，以进一步提升EX。

🔬 方法详解

问题定义：本文旨在解决当前文本到SQL转换方法在执行准确性（EX）和成本效率上的不足，尤其是在BIRD-SQL基准测试中的表现不佳。现有方法通常速度慢且费用高，难以满足实际应用需求。

核心思路：论文提出的Dubo-SQL方法结合了低成本微调和多样化检索增强生成（RAG），通过新的输入输出格式来提升大语言模型（LLMs）的EX表现。此设计旨在在保持高性能的同时，降低计算成本和提高处理速度。

技术框架：Dubo-SQL的整体架构包括两个主要模块：首先是低成本微调模块，利用GPT-3.5 Turbo进行模型优化；其次是RAG模块，Dubo-SQL v2使用此模块替代微调，以进一步提升性能。整个流程从输入文本到生成SQL语句，经过多样化检索和生成的步骤。

关键创新：Dubo-SQL的核心创新在于结合了低成本的微调与RAG方法，尤其是Dubo-SQL v1在使用GPT-3.5 Turbo时超越了使用更昂贵的GPT-4模型的其他方法，提升幅度超过20%。Dubo-SQL v2则通过RAG进一步提升EX，展示了新方法的有效性。

关键设计：在模型设计上，Dubo-SQL v1和v2均采用了针对特定任务的损失函数和优化策略，确保在执行准确性和生成速度之间取得平衡。具体的参数设置和网络结构细节在论文中进行了详细描述，以支持模型的高效训练和推理。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

Dubo-SQL v1在BIRD-SQL的保留测试集上创下了新的执行准确性记录，超越了使用GPT-4的最佳模型，性能提升超过20%。Dubo-SQL v2在开发集上表现更佳，展示了RAG方法在提升EX方面的有效性，标志着文本到SQL转换技术的重大进步。

🎯 应用场景

Dubo-SQL的研究成果在数据库查询生成、智能问答系统和自然语言处理等领域具有广泛的应用潜力。通过提升文本到SQL的转换准确性，该技术能够帮助企业和开发者更高效地从自然语言中提取信息，降低人工干预的需求，提升数据处理的自动化水平。未来，该方法还可能推动更多智能应用的发展，提升人机交互的自然性和智能化程度。

📄 摘要（原文）

The current state-of-the-art (SOTA) for automated text-to-SQL still falls well short of expert human performance as measured by execution accuracy (EX) on the BIRD-SQL benchmark. The most accurate methods are also slow and expensive. To advance the SOTA for text-to-SQL while reducing cost and improving speed, we explore the combination of low-cost fine tuning, novel methods for diverse retrieval-augmented generation (RAG) and new input and output formats that help large language models (LLMs) achieve higher EX. We introduce two new methods, Dubo-SQL v1 and v2. Dubo-SQL v1 sets a new record for EX on the holdout test set of BIRD-SQL. Dubo-SQL v2 achieves even higher performance on the BIRD-SQL dev set. Dubo-SQL v1 relies on LLMs from OpenAI, but uses the low-cost GPT-3.5 Turbo while exceeding the performance of the next-best model using OpenAI, which instead uses the more expensive GPT-4. Dubo-SQL v1 exceeds the performance of the next-best model using GPT-3.5 by over 20%. Dubo-SQL v2 uses GPT-4 Turbo and RAG in place of fine tuning to push EX higher.