In-Context Learning for Knowledge Base Question Answering for Unmanned Systems based on Large Language Models

📄 arXiv: 2311.02956v1 📥 PDF

作者: Yunlong Chen, Yaming Zhang, Jianfei Yu, Li Yang, Rui Xia

分类: cs.CL, cs.AI

发布日期: 2023-11-06

备注: Runner up of the CCKS 2023 question answering with knowledge graph inference for unmanned systems evaluation task, accepted as an evaluation paper

DOI: 10.1007/978-981-99-7224-1_26

💡 一句话要点

提出基于ChatGPT的CQL生成框架以解决无人系统知识库问答问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 知识库问答 自然语言处理 大型语言模型 Cypher查询语言 无人系统 机器学习 信息提取

📋 核心要点

  1. 现有的知识库问答方法在将自然语言问题转换为查询代码时存在显著挑战，导致准确性不足。
  2. 本研究提出了一种基于ChatGPT的CQL生成框架，通过多个模块协同工作，提升了查询代码生成的准确性。
  3. 在CCKS 2023竞赛中，该框架取得了第二名的优异成绩，F1-score达到了0.92676，显示出显著的性能提升。

📝 摘要（中文）

知识库问答（KBQA）旨在基于知识库回答事实性问题。然而，根据自然语言问题（NLQ）生成最合适的知识库查询代码面临重大挑战。本研究聚焦于2023年无人系统知识图谱推理问答竞赛，提出了一种基于ChatGPT的Cypher查询语言（CQL）生成框架。该框架包含六个部分：辅助模型、专有名词匹配器、示例选择器、提示构造器、生成模型和集成模型。通过该框架，我们在竞赛中获得第二名，F1-score达到0.92676。

🔬 方法详解

问题定义：本论文旨在解决知识库问答中将自然语言问题转换为Cypher查询语言（CQL）代码的难题。现有方法在生成准确查询代码方面存在不足，影响了问答系统的性能。

核心思路：论文提出的框架通过利用大型语言模型（如ChatGPT）生成CQL，结合多个辅助模块，旨在提高查询代码的生成质量和准确性。这样的设计使得模型能够更好地理解和处理自然语言问题。

技术框架：整体架构包括六个主要模块：1) 辅助模型用于预测CQL的语法信息；2) 专有名词匹配器提取NLQ中的专有名词；3) 示例选择器检索相似的示例；4) 提示构造器设计ChatGPT的输入模板；5) 生成模型基于ChatGPT生成CQL；6) 集成模型从多样化输出中获得最终答案。

关键创新：该研究的主要创新在于将大型语言模型与多模块协同工作相结合，显著提高了CQL生成的准确性和效率。这种方法与传统的单一模型方法有本质区别。

关键设计：在模型设计中，使用了特定的损失函数来优化生成的CQL质量，网络结构经过精心设计以适应多模块的协同工作，确保信息的有效传递和处理。具体参数设置和网络结构细节在论文中进行了详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在CCKS 2023竞赛中，提出的ChatGPT基础CQL生成框架取得了第二名，F1-score达到0.92676，显示出相较于基线方法的显著性能提升，证明了该方法在知识库问答任务中的有效性。

🎯 应用场景

该研究的框架可广泛应用于无人系统的知识库问答场景，如智能助手、自动驾驶系统和机器人等领域。通过提升问答系统的准确性和效率，该技术有助于改善人机交互体验，并推动相关领域的智能化发展。

📄 摘要（原文）

Knowledge Base Question Answering (KBQA) aims to answer factoid questions based on knowledge bases. However, generating the most appropriate knowledge base query code based on Natural Language Questions (NLQ) poses a significant challenge in KBQA. In this work, we focus on the CCKS2023 Competition of Question Answering with Knowledge Graph Inference for Unmanned Systems. Inspired by the recent success of large language models (LLMs) like ChatGPT and GPT-3 in many QA tasks, we propose a ChatGPT-based Cypher Query Language (CQL) generation framework to generate the most appropriate CQL based on the given NLQ. Our generative framework contains six parts: an auxiliary model predicting the syntax-related information of CQL based on the given NLQ, a proper noun matcher extracting proper nouns from the given NLQ, a demonstration example selector retrieving similar examples of the input sample, a prompt constructor designing the input template of ChatGPT, a ChatGPT-based generation model generating the CQL, and an ensemble model to obtain the final answers from diversified outputs. With our ChatGPT-based CQL generation framework, we achieved the second place in the CCKS 2023 Question Answering with Knowledge Graph Inference for Unmanned Systems competition, achieving an F1-score of 0.92676.