SUQL: Conversational Search over Structured and Unstructured Data with Large Language Models

📄 arXiv: 2311.09818v2 📥 PDF

作者: Shicheng Liu, Jialiang Xu, Wesley Tjangnaka, Sina J. Semnani, Chen Jie Yu, Monica S. Lam

分类: cs.CL, cs.PL

发布日期: 2023-11-16 (更新: 2024-03-13)

💡 一句话要点

提出SUQL以解决混合数据访问的对话搜索问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 对话搜索 混合数据 结构化数据 非结构化数据 SUQL 语义解析 上下文学习

📋 核心要点

  1. 现有的对话代理通常只能处理结构化或非结构化数据，无法有效整合混合数据源。
  2. 本文提出的SUQL语言扩展了SQL，支持自由文本原语，使得混合数据访问更加灵活和高效。
  3. 在Yelp数据集上的实验表明，基于SUQL的对话代理在满足用户需求方面的成功率达到90.3%，显著高于基线的63.4%。

📝 摘要（中文）

尽管大多数对话代理基于自由文本或结构化知识，但许多知识库由混合来源组成。本文提出了首个支持大知识库混合数据访问的对话代理，使用我们开发的语言SUQL（结构化与非结构化查询语言）。SUQL在SQL的基础上扩展了自由文本原语（摘要和答案），使信息检索能够以正式、简洁、精确和可解释的方式与结构化数据访问任意组合。我们还提出了首个语义解析器，基于上下文学习的LLM，能够处理混合数据源。通过在HybridQA数据集上的应用，我们的方法在准确匹配和F1分数上分别与SOTA相差8.9%和7.1%。更重要的是，与以往方法不同，我们的技术适用于大型数据库和自由文本语料库。

🔬 方法详解

问题定义：本文旨在解决现有对话代理在处理混合数据源时的局限性，尤其是无法有效整合结构化与非结构化数据的问题。现有方法往往只能针对单一类型的数据进行查询，导致信息检索的灵活性不足。

核心思路：论文提出的SUQL语言通过在SQL中引入自由文本原语，允许用户以更自然的方式进行查询，从而实现对混合数据源的全面访问。这种设计使得信息检索不仅限于结构化数据，也能有效利用非结构化数据。

技术框架：整体架构包括SUQL语言解析、上下文学习的语义解析器和信息检索模块。SUQL解析器将用户输入的查询转换为可执行的数据库查询，而语义解析器则利用上下文学习来理解混合数据源中的信息。

关键创新：最重要的技术创新在于SUQL语言的提出及其与上下文学习相结合的语义解析器。这一创新使得对话代理能够在大型数据库和自由文本语料库中灵活检索信息，突破了以往方法的局限。

关键设计：在设计中，SUQL语言的语法结构经过精心设计，以确保其简洁性和可解释性。同时，语义解析器采用了基于上下文学习的模型，能够在少量样本下进行有效的学习和推理。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，基于SUQL的对话代理在Yelp数据集上能够以90.3%的成功率满足用户需求，相较于基线方法的63.4%有显著提升。此外，SUQL在准确匹配和F1分数上与SOTA的差距分别为8.9%和7.1%。

🎯 应用场景

该研究的潜在应用领域包括智能客服、信息检索系统和知识管理平台等。通过支持混合数据源的对话搜索，SUQL能够提升用户在复杂查询场景下的体验，具有广泛的实际价值和未来影响。

📄 摘要（原文）

While most conversational agents are grounded on either free-text or structured knowledge, many knowledge corpora consist of hybrid sources. This paper presents the first conversational agent that supports the full generality of hybrid data access for large knowledge corpora, through a language we developed called SUQL (Structured and Unstructured Query Language). Specifically, SUQL extends SQL with free-text primitives (summary and answer), so information retrieval can be composed with structured data accesses arbitrarily in a formal, succinct, precise, and interpretable notation. With SUQL, we propose the first semantic parser, an LLM with in-context learning, that can handle hybrid data sources. Our in-context learning-based approach, when applied to the HybridQA dataset, comes within 8.9% exact match and 7.1% F1 of the SOTA, which was trained on 62K data samples. More significantly, unlike previous approaches, our technique is applicable to large databases and free-text corpora. We introduce a dataset consisting of crowdsourced questions and conversations on Yelp, a large, real restaurant knowledge base with structured and unstructured data. We show that our few-shot conversational agent based on SUQL finds an entity satisfying all user requirements 90.3% of the time, compared to 63.4% for a baseline based on linearization.