Improving Generalization in Semantic Parsing by Increasing Natural Language Variation

📄 arXiv: 2402.08666v1 📥 PDF

作者: Irina Saparina, Mirella Lapata

分类: cs.CL

发布日期: 2024-02-13

备注: EACL 2024

💡 一句话要点

通过数据增强提升文本到SQL语义解析的泛化能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 文本到SQL 语义解析 数据增强 自然语言处理 大型语言模型 鲁棒性 泛化能力

📋 核心要点

  1. 现有文本到SQL解析模型在面对小的语言变化时泛化能力不足，导致性能下降。
  2. 本文提出利用大型语言模型进行数据增强，以生成多样化的自然语言问题，从而提升解析器的鲁棒性。
  3. 通过在增强数据集上训练，模型在多个评估集上表现出显著的性能提升，包括鲁棒性基准和领域外数据。

📝 摘要（中文）

文本到SQL的语义解析在近年来取得了显著进展，尤其是在Spider基准测试中表现出色。然而，这些模型在面对已解析表达的小扰动时，常常难以泛化。这主要是由于Spider中问题的语言形式过于具体、不自然且变化有限。本文通过数据增强技术，提升文本到SQL解析器对自然语言变化的鲁棒性。与现有方法不同，我们利用大型语言模型生成更真实和多样化的问题，结果显示在增强数据集上训练后，模型在多个评估集上取得了显著提升。

🔬 方法详解

问题定义：本文旨在解决文本到SQL语义解析模型在面对自然语言变化时的泛化能力不足问题。现有方法通常依赖于Spider数据集的特定语言形式，导致模型对小扰动的敏感性。

核心思路：我们提出通过数据增强来生成更自然和多样化的问题，以提高模型的鲁棒性。利用大型语言模型的能力，可以生成大量的高质量问题，从而丰富训练数据。

技术框架：整体流程包括使用大型语言模型生成问题、构建增强数据集、在增强数据集上训练解析器，并在多个评估集上进行测试。主要模块包括数据生成、模型训练和性能评估。

关键创新：最重要的创新在于利用大型语言模型生成多样化的问题，而不是仅依赖于现有数据集的局部变化。这种方法显著提高了生成问题的自然性和多样性。

关键设计：在数据生成过程中，我们使用了少量的提示来引导大型语言模型生成问题，确保生成问题的多样性和相关性。训练过程中采用了标准的交叉熵损失函数，以优化模型在增强数据集上的表现。

🖼️ 关键图片

fig_0
img_1

📊 实验亮点

实验结果表明，使用增强数据集训练的模型在多个评估集上表现出显著提升，尤其是在鲁棒性基准测试中，性能提高幅度达到两倍。这一结果表明，生成多样化问题的策略有效增强了模型的泛化能力。

🎯 应用场景

该研究的潜在应用领域包括数据库查询生成、智能问答系统和自然语言处理中的语义理解等。通过提升文本到SQL解析的鲁棒性，能够更好地支持用户与数据库的交互，增强系统的智能化水平，未来可能对商业智能和数据分析领域产生深远影响。

📄 摘要（原文）

Text-to-SQL semantic parsing has made significant progress in recent years, with various models demonstrating impressive performance on the challenging Spider benchmark. However, it has also been shown that these models often struggle to generalize even when faced with small perturbations of previously (accurately) parsed expressions. This is mainly due to the linguistic form of questions in Spider which are overly specific, unnatural, and display limited variation. In this work, we use data augmentation to enhance the robustness of text-to-SQL parsers against natural language variations. Existing approaches generate question reformulations either via models trained on Spider or only introduce local changes. In contrast, we leverage the capabilities of large language models to generate more realistic and diverse questions. Using only a few prompts, we achieve a two-fold increase in the number of questions in Spider. Training on this augmented dataset yields substantial improvements on a range of evaluation sets, including robustness benchmarks and out-of-domain data.