Aligning Large Language Models to a Domain-specific Graph Database for NL2GQL
作者: Yuanyuan Liang, Keren Tan, Tingyu Xie, Wenbiao Tao, Siyuan Wang, Yunshi Lan, Weining Qian
分类: cs.CL, cs.AI, cs.DB
发布日期: 2024-02-26 (更新: 2024-09-05)
备注: 13 pages,2 figures
💡 一句话要点
提出一种方法将大型语言模型对齐于特定领域图数据库以解决NL2GQL问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 图数据库 自然语言处理 图查询语言 大型语言模型 数据生成 模型微调 领域特定
📋 核心要点
- 核心问题：现有方法在将自然语言转换为图查询语言时，缺乏特定领域的NL-GQL数据对，导致对齐困难。
- 方法要点：本文提出利用ChatGPT生成NL-GQL数据对，并通过微调LLMs实现与图数据库的对齐，同时引入相关模式以提高生成准确性。
- 实验或效果：在FinGQL和MediGQL数据集上，所提方法在EM和EX指标上分别提升了5.90和6.36个绝对点，显示出显著的性能改进。
📝 摘要（中文）
图数据库在金融、社交网络和医学等多个领域得到广泛应用。然而，自然语言（NL）到图查询语言（GQL）的转换，即NL2GQL，面临着复杂性和专业性带来的重大挑战。尽管已有一些方法尝试利用大型语言模型（LLMs）解决类似的任务，如text2SQL，但在特定领域的NL-GQL数据对缺乏的情况下，使得LLMs与图数据库的对齐变得更加复杂。为此，本文提出了一种明确的流程，首先利用ChatGPT生成NL-GQL数据对，然后对LLMs进行微调以确保其与图数据库的对齐。此外，相关模式在生成准确的GQL中起着重要作用，因此我们引入了一种提取相关模式作为输入上下文的方法。通过在金融和医学领域构建的两个数据集FinGQL和MediGQL进行评估，实验结果表明，所提方法在EM和EX指标上显著优于一系列基线方法。
🔬 方法详解
问题定义：本文旨在解决自然语言到图查询语言（NL2GQL）转换中的对齐问题，现有方法在特定领域缺乏足够的NL-GQL数据对，导致LLMs无法有效对齐图数据库。
核心思路：通过利用ChatGPT生成特定领域的NL-GQL数据对，并对LLMs进行微调，从而实现更好的对齐效果。此外，提取相关模式作为输入上下文，以提高生成GQL的准确性。
技术框架：整体流程包括两个主要阶段：首先，使用ChatGPT生成NL-GQL数据对；其次，利用生成的数据对LLMs进行微调。关键模块包括数据生成模块和模型微调模块。
关键创新：最重要的创新在于通过自指令生成特定领域的NL-GQL数据对，并引入相关模式的提取方法，这在现有方法中尚未得到充分探索。
关键设计：在模型微调过程中，采用了特定的损失函数和参数设置，以确保模型能够有效学习到领域特定的查询模式，同时在数据生成阶段，确保生成的数据对具有高质量和相关性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，所提方法在FinGQL和MediGQL数据集上分别在EM和EX指标上提升了5.90和6.36个绝对点，6.00和7.09个绝对点，显著优于一系列基线方法，验证了方法的有效性。
🎯 应用场景
该研究的潜在应用领域包括金融、医疗等行业，能够帮助用户更高效地从图数据库中提取信息，提升数据查询的准确性和效率。未来，该方法还可以扩展到其他领域的图数据库应用，推动自然语言处理与图数据库技术的结合。
📄 摘要（原文）
Graph Databases (Graph DB) find extensive application across diverse domains such as finance, social networks, and medicine. Yet, the translation of Natural Language (NL) into the Graph Query Language (GQL), referred to as NL2GQL, poses significant challenges owing to its intricate and specialized nature. Some approaches have sought to utilize Large Language Models (LLMs) to address analogous tasks like text2SQL. Nonetheless, in the realm of NL2GQL tasks tailored to a particular domain, the absence of domain-specific NL-GQL data pairs adds complexity to aligning LLMs with the graph DB. To tackle this challenge, we present a well-defined pipeline. Initially, we utilize ChatGPT to generate NL-GQL data pairs, leveraging the provided graph DB with self-instruction. Subsequently, we employ the generated data to fine-tune LLMs, ensuring alignment between LLMs and the graph DB. Moreover, we find the importance of relevant schema in efficiently generating accurate GQLs. Thus, we introduce a method to extract relevant schema as the input context. We evaluate our method using two carefully constructed datasets derived from graph DBs in the finance and medicine domains, named FinGQL and MediGQL. Experimental results reveal that our approach significantly outperforms a set of baseline methods, with improvements of 5.90 and 6.36 absolute points on EM, and 6.00 and 7.09 absolute points on EX for FinGQL and MediGQL, respectively.