DTS-SQL: Decomposed Text-to-SQL with Small Large Language Models
作者: Mohammadreza Pourreza, Davood Rafiei
分类: cs.CL, cs.DB, cs.HC
发布日期: 2024-02-02
💡 一句话要点
提出DTS-SQL以解决小型语言模型在文本到SQL任务中的性能不足问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 文本到SQL 小型语言模型 微调方法 数据隐私 开源技术
📋 核心要点
- 现有文本到SQL模型依赖大型专有语言模型，导致数据隐私问题和使用限制。
- 本文提出了一种两阶段微调方法，将文本到SQL任务分解为两个更简单的子任务，以提高小型模型的性能。
- 在两个大型跨领域数据集上进行评估，结果显示该方法的执行准确率提升了3%到7%，缩小了与大型模型的性能差距。
📝 摘要（中文）
现有的文本到SQL任务的主流模型严重依赖于专有的大型语言模型（LLMs），这引发了数据隐私方面的担忧。缩小小型开源模型与大型专有模型之间的性能差距至关重要。为此，本文提出了一种新颖的两阶段微调方法，将任务分解为两个更简单的子任务。通过在两个大型跨领域数据集和两个小型LLM上的全面评估，我们展示了该方法将执行准确率提高了3%到7%，有效地使开源模型的性能与专有模型对齐。
🔬 方法详解
问题定义：本文旨在解决文本到SQL任务中小型开源模型性能不足的问题。现有方法依赖于大型专有模型，导致数据隐私和使用限制的挑战。
核心思路：论文提出的核心思路是将复杂的文本到SQL任务分解为两个更简单的子任务，通过两阶段的微调来提升小型模型的执行准确率。这样的设计旨在降低任务复杂性，从而提高模型的学习效率。
技术框架：整体架构包括两个主要阶段：第一阶段是对输入文本进行理解和解析，第二阶段是生成相应的SQL查询。每个阶段都使用小型开源语言模型进行微调，以适应特定子任务。
关键创新：最重要的技术创新在于任务的分解策略，这与现有方法的单一大模型训练方式形成鲜明对比。通过分解，模型能够更专注于每个子任务，从而提高整体性能。
关键设计：在参数设置上，采用了适合小型模型的优化算法，并设计了特定的损失函数以平衡两个子任务的学习。网络结构上，使用了轻量级的Transformer架构，以确保在资源有限的情况下仍能实现较高的性能。
🖼️ 关键图片
📊 实验亮点
实验结果表明，DTS-SQL方法在两个大型跨领域数据集上实现了3%到7%的执行准确率提升，显著缩小了小型开源模型与大型专有模型之间的性能差距。这一成果展示了小型模型在文本到SQL任务中的潜力，具有重要的应用前景。
🎯 应用场景
该研究的潜在应用场景包括数据库查询生成、自然语言处理中的信息提取以及智能助手等领域。通过提升小型模型在文本到SQL任务中的表现，可以在保护数据隐私的同时，推动开源技术的应用与发展，具有重要的实际价值和未来影响。
📄 摘要（原文）
Leading models for the text-to-SQL task heavily rely on proprietary Large Language Models (LLMs), posing concerns over data privacy. Closing the performance gap between small open-source models and large proprietary models is crucial to mitigate this reliance. To this end, we introduce a novel two-stage fine-tuning approach that decomposes the task into two simpler tasks. Through comprehensive evaluation on two large cross-domain datasets and two small LLMs, we show that this approach improves execution accuracy by 3 to 7 percent, effectively aligning the performance of open-source models with their proprietary counterparts.