Replacing Training with Memory: Listwise Selection for Text-to-SQL

📄 arXiv: 2609.00834v1 📥 PDF

作者: Yeonseok Jeong, Soyoung Yoon, Seongjun Lee, Seung-won Hwang

分类: cs.SE, cs.AI, cs.CL

发布日期: 2026-09-01

备注: Accepted by Findings of EMNLP 2026

💡 一句话要点

提出无需微调的列表选择器以优化文本到SQL的查询生成

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 文本到SQL 列表选择 无微调 结构化记忆 自然语言处理 数据库查询 执行准确性

📋 核心要点

  1. 现有的文本到SQL方法在微调列表选择器时成本较高，影响了系统的效率和稳定性。
  2. 本文提出了一种无微调的列表选择器，通过构建结构化记忆和聚合排名来优化选择过程。
  3. 在BIRD-dev基准测试中，该方法在执行准确性上平均超越了R^3-SQL 2.02个百分点，同时减少了2.92倍的token使用。

📝 摘要（中文）

现代文本到SQL系统通常遵循生成-执行-选择的流程，生成多个候选查询后再选择最佳者。列表选择方法通过联合比较多个候选者被广泛采用，但微调列表选择器的成本较高。为此，本文提出了一种无微调的列表选择器，利用推理时策略替代两个主要的微调目标：学习选择标准和减轻位置偏差。我们构建可重用的结构化记忆，编码自然语言与模式元素、SQL操作及预期输出的映射。这些记忆作为评估候选者的明确决策标准。此外，通过聚合多个输入排列的排名来减轻列表选择器的排序偏差。该方法在保持效率和兼容现有大型语言模型的同时，提高了选择准确性。

🔬 方法详解

问题定义：本文旨在解决现有文本到SQL系统中列表选择器微调成本高的问题，导致选择准确性和效率受限。

核心思路：通过构建可重用的结构化记忆来替代传统的模型参数微调，并通过聚合多个输入排列的排名来减轻排序偏差，从而实现无微调的选择器。

技术框架：整体架构包括两个主要模块：结构化记忆模块和排名聚合模块。结构化记忆模块负责从训练数据中提取自然语言与SQL之间的映射，而排名聚合模块则通过优化执行结果来提高选择的准确性。

关键创新：最重要的创新在于引入了结构化记忆作为决策标准，避免了传统方法中对模型参数的依赖，同时通过聚合排名来减轻位置偏差，这与现有方法有本质区别。

关键设计：在设计中，记忆的构建采用了从训练数据中提取的信息，损失函数则侧重于选择准确性和效率的平衡，网络结构兼容现有的大型语言模型，确保了方法的实用性。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，本文方法在BIRD-dev基准测试中，平均执行准确性超越了现有最优选择器R^3-SQL 2.02个百分点，同时减少了2.92倍的token使用，展现了显著的性能提升和效率优化。

🎯 应用场景

该研究的潜在应用领域包括数据库查询生成、自然语言处理和智能助手等。通过提高文本到SQL的转换效率和准确性，该方法能够在实际应用中显著提升用户体验，推动智能问答系统的发展。

📄 摘要（原文）

Modern Text-to-SQL systems often follow generate-execute-select pipelines, generating multiple candidate queries then selecting the best one. Listwise selection, by jointly comparing multiple candidates, has been widely adopted, but fine-tuning listwise selectors is costly. We thus propose a fine-tuning-free listwise selector. We replace two major fine-tuning objectives with inference-time strategies: (1) learning selection criteria as ordering and (2) mitigating positional bias. First, we build reusable structured memories instead of learning selection behavior as model parameters. Given a question, MaP-SQL retrieves memories distilled from training data that encode how natural language maps to schema elements, SQL operations, and expected outputs. These memories serve as explicit decision criteria for evaluating candidates in a listwise manner. Second, to mitigate ordering bias of listwise selectors, we aggregate rankings across multiple input permutations, with inference cost optimized by execution results and pointwise scoring. Our approach improves selection accuracy while maintaining efficiency and compatibility with existing large language models. Across Text-to-SQL benchmarks, it produces more stable selection without fine-tuning and fewer unnecessary comparisons than existing methods. On BIRD-dev, it outperforms the previous state-of-the-art selector-based method R^3-SQL by 2.02 execution accuracy points on average using the same candidate sets, with 2.92x fewer tokens.