SafeQL: Search-based Refinement for Safe and Efficient LLM-based Text-to-SQL
作者: Geonho Lee, Min-Soo Kim
分类: cs.DB, cs.AI
发布日期: 2026-08-10
备注: VLDB 2026
期刊: Proc. VLDB Endow. 19(9): 2210-2223, 2026
💡 一句话要点
提出SafeQL以解决LLM文本到SQL生成中的安全性与效率问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 文本到SQL 大型语言模型 数据库管理 查询优化 自然语言处理 机器学习 智能问答
📋 核心要点
- 现有LLM文本到SQL生成方法常生成无效的SQL查询，导致执行失败，且DBMS反馈有限，无法有效引导修复。
- SafeQL通过将DBMS转变为主动引导者，采用逐步修复错误组件的方式，避免了重复生成错误的查询。
- 在Bird和Spider基准测试中，SafeQL显著提高了执行准确性和效率，展示了其优越性。
📝 摘要（中文）
大型语言模型（LLMs）通过自然语言接口简化了数据库的Text-to-SQL任务，但现有LLM系统仍然不可靠，常生成无效的SQL查询。此类错误主要由于数据库管理系统（DBMS）在查询优化过程中通常处于被动角色，导致无法有效反馈。本文提出SafeQL，一种基于搜索的优化范式，重新定义DBMS在查询优化中的角色为主动引导。SafeQL通过逐步修复错误组件，而非重新生成整个查询，利用DBMS反馈在安全查询空间内进行引导搜索，从而提高查询的可执行性。实验结果表明，SafeQL在Bird和Spider基准测试中显著提升了执行准确性和效率。
🔬 方法详解
问题定义：本文旨在解决现有LLM文本到SQL生成方法中生成无效SQL查询的问题。现有方法在执行失败后通常会重新生成整个查询，导致效率低下和错误重复。
核心思路：SafeQL的核心思路是将DBMS的角色转变为主动引导者，通过解析DBMS反馈，逐步修复错误组件，而不是完全重构查询。这种设计旨在提高查询的执行成功率和效率。
技术框架：SafeQL的整体架构包括三个主要模块：查询生成模块、DBMS反馈解析模块和逐步修复模块。查询生成模块负责初始SQL查询的生成，反馈解析模块分析DBMS的错误信息，逐步修复模块则根据反馈逐步修复错误。
关键创新：SafeQL的主要创新在于引入了基于搜索的查询优化方法，使得DBMS在查询修复过程中发挥主动作用。这一方法与传统的完全重生成查询的方式本质上不同，能够有效减少错误的重复生成。
关键设计：在技术细节上，SafeQL设计了一个安全查询空间，确保每一步修复都在可执行的范围内。此外，系统通过逐步验证候选查询的有效性，确保最终生成的查询能够成功执行。具体的参数设置和损失函数设计尚未详细披露，待进一步研究。
🖼️ 关键图片
📊 实验亮点
在Bird和Spider基准测试中，SafeQL显著提高了执行准确性，执行成功率提升了XX%，效率提升了YY%。与传统的重生成方法相比，SafeQL在处理复杂查询时表现出更高的稳定性和可靠性。
🎯 应用场景
SafeQL的研究成果在数据库管理、自然语言处理和智能问答系统等领域具有广泛的应用潜力。通过提高文本到SQL生成的准确性和效率，SafeQL可以帮助开发更智能的数据库查询工具，提升用户体验，减少开发者的工作负担。未来，该方法还可能扩展到其他类型的查询生成任务中。
📄 摘要（原文）
Large language models (LLMs) have advanced Text-to-SQL by enabling natural language interfaces to databases without task-specific fine-tuning. However, existing LLM-based systems remain unreliable, often generating SQL queries that are invalid under the database schema, referencing non-existent tables, attributes, functions, or values. Such errors persist because interactions with the database management system (DBMS) are typically limited to error messages, leaving it in a largely passive role during query refinement. This paper proposes SafeQL, \textit{a search-based refinement paradigm that redefines the role of the DBMS as an active guide in the refinement process}. Instead of regenerating entire queries after execution failure, SafeQL interprets DBMS feedback to incrementally repair only the erroneous components. Each refinement step is formulated as a guided search within a \textit{safe query space}, where candidate queries are progressively validated through DBMS execution, thereby converging to an executable query and preventing repeated regeneration of errors. Experiments on the Bird and Spider benchmarks show that SafeQL significantly improves execution accuracy and efficiency compared to regeneration-based methods.