KG-Agent: An Efficient Autonomous Agent Framework for Complex Reasoning over Knowledge Graph

📄 arXiv: 2402.11163v1 📥 PDF

作者: Jinhao Jiang, Kun Zhou, Wayne Xin Zhao, Yang Song, Chen Zhu, Hengshu Zhu, Ji-Rong Wen

分类: cs.CL

发布日期: 2024-02-17

备注: work in progress; efficient 7B LLM-based agent

💡 一句话要点

提出KG-Agent框架以提升知识图谱推理能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 知识图谱 推理能力 自主决策 多跳推理 大型语言模型 框架设计 智能问答

📋 核心要点

  1. 现有方法在知识图谱推理中存在效率低下和决策能力不足的问题，难以处理复杂问题。
  2. KG-Agent框架通过集成LLM和多功能工具，设计了自主决策的迭代机制，提升了推理能力。
  3. 实验结果显示，仅用10K样本微调LLaMA-7B模型，性能超越更大模型，展示了高效性和有效性。

📝 摘要（中文）

本文旨在提升大型语言模型（LLMs）在知识图谱（KG）上的推理能力，以回答复杂问题。我们提出了一种自主的基于LLM的代理框架KG-Agent，使得小型LLM能够主动决策，直至完成KG推理过程。KG-Agent集成了LLM、多功能工具箱、基于KG的执行器和知识记忆，并开发了一种迭代机制，能够自主选择工具并更新记忆以进行KG推理。通过程序语言来表述多跳推理过程，并合成代码指令数据集以微调基础LLM。实验表明，仅使用10K样本微调LLaMA-7B模型，便能在领域内外数据集上超越使用更大LLM或更多数据的最先进方法。我们的代码和数据将公开发布。

🔬 方法详解

问题定义：本文解决的是大型语言模型在知识图谱推理中效率低下和决策能力不足的问题。现有方法往往依赖于更大的模型或更多的数据，导致推理过程复杂且耗时。

核心思路：KG-Agent框架的核心思想是通过自主决策机制，使小型LLM能够有效地进行多跳推理。该框架设计了一个迭代过程，允许模型在推理过程中动态选择工具和更新知识记忆，从而提高推理的灵活性和准确性。

技术框架：KG-Agent的整体架构包括四个主要模块：LLM、多功能工具箱、KG执行器和知识记忆。推理过程通过迭代机制进行，模型在每一步中选择合适的工具并更新记忆，以支持复杂问题的推理。

关键创新：KG-Agent的主要创新在于其自主决策的迭代机制，这与传统方法依赖静态推理流程的方式有本质区别。通过这种设计，KG-Agent能够在推理过程中灵活适应不同的任务需求。

关键设计：在技术细节上，KG-Agent利用程序语言来描述多跳推理过程，并合成了一个代码指令数据集用于微调基础LLM。该设计确保了模型在推理时能够有效利用知识图谱的信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，KG-Agent在仅使用10K样本微调LLaMA-7B模型的情况下，能够在领域内外数据集上超越现有的最先进方法，展示出显著的性能提升，证明了其高效性和有效性。

🎯 应用场景

KG-Agent框架在智能问答、知识检索和自动推理等领域具有广泛的应用潜力。通过提升知识图谱的推理能力，该框架能够为复杂问题提供更准确的答案，推动人工智能在实际场景中的应用和发展。

📄 摘要（原文）

In this paper, we aim to improve the reasoning ability of large language models (LLMs) over knowledge graphs (KGs) to answer complex questions. Inspired by existing methods that design the interaction strategy between LLMs and KG, we propose an autonomous LLM-based agent framework, called KG-Agent, which enables a small LLM to actively make decisions until finishing the reasoning process over KGs. In KG-Agent, we integrate the LLM, multifunctional toolbox, KG-based executor, and knowledge memory, and develop an iteration mechanism that autonomously selects the tool then updates the memory for reasoning over KG. To guarantee the effectiveness, we leverage program language to formulate the multi-hop reasoning process over the KG, and synthesize a code-based instruction dataset to fine-tune the base LLM. Extensive experiments demonstrate that only using 10K samples for tuning LLaMA-7B can outperform state-of-the-art methods using larger LLMs or more data, on both in-domain and out-domain datasets. Our code and data will be publicly released.