InstructGraph: Boosting Large Language Models via Graph-centric Instruction Tuning and Preference Alignment

📄 arXiv: 2402.08785v1 📥 PDF

作者: Jianing Wang, Junda Wu, Yupeng Hou, Yao Liu, Ming Gao, Julian McAuley

分类: cs.CL

发布日期: 2024-02-13

备注: 19 pages

💡 一句话要点

提出InstructGraph以增强大语言模型的图推理与生成能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 图推理 图生成 大语言模型 指令调优 偏好对齐 结构化数据 模型优化

📋 核心要点

  1. 现有的大语言模型在图推理和生成任务中存在性能不足的问题，尤其是在处理复杂图结构时。
  2. 本文提出的InstructGraph框架通过结构化语言转换器和图指令调优，提升了LLMs在图任务中的表现。
  3. 实验结果显示，InstructGraph在多个图相关任务中显著优于现有模型，性能提升超过13%和38%。

📝 摘要（中文）

当前的大语言模型（LLMs）在图推理和生成任务中是否能通过参数更新获得更好的效果？本文提出了InstructGraph框架，通过指令调优和偏好对齐，赋予LLMs图推理和生成的能力。具体而言，我们首先提出了一种结构化格式的语言转换器，将所有图数据统一为一种通用的代码格式，简化了图的表示，无需外部图特定编码器。此外，引入了图指令调优阶段，指导LLMs解决图推理和生成任务。最后，我们识别了图任务中的潜在幻觉问题，并为偏好对齐采样负实例，以增强模型输出的可靠性。大量实验表明，InstructGraph在多个图相关任务中表现最佳，超过GPT-4和LLaMA2的性能分别超过13%和38%。

🔬 方法详解

问题定义：本文旨在解决当前大语言模型在图推理和生成任务中的性能不足，尤其是在处理复杂图数据时，现有方法往往依赖于外部图编码器，导致效率低下和效果不佳。

核心思路：论文的核心思路是通过指令调优和偏好对齐，赋予大语言模型处理图数据的能力。通过统一的代码格式表示图数据，简化了模型的输入，同时引导模型学习图推理和生成的任务。

技术框架：InstructGraph框架主要包括三个阶段：首先是结构化格式的语言转换器，将图数据转化为通用格式；其次是图指令调优阶段，指导模型进行图推理和生成；最后是偏好对齐阶段，通过采样负实例来增强模型输出的可靠性。

关键创新：最重要的技术创新在于提出了结构化格式的语言转换器，能够将图数据统一表示，避免了对外部图编码器的依赖。此外，偏好对齐的引入有效解决了模型在图任务中的幻觉问题。

关键设计：在模型设计中，采用了特定的损失函数来优化指令调优过程，并通过负实例采样来增强模型的鲁棒性。模型的网络结构经过精心设计，以适应图数据的特性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，InstructGraph在多个图相关任务中表现优异，超越了GPT-4和LLaMA2，性能提升幅度分别超过13%和38%。这一显著的提升证明了该框架在图推理和生成任务中的有效性和可靠性。

🎯 应用场景

InstructGraph的研究成果在多个领域具有广泛的应用潜力，包括社交网络分析、知识图谱构建、推荐系统以及生物信息学等。通过提升大语言模型在图推理和生成任务中的能力，该框架能够为复杂数据处理提供更高效的解决方案，推动相关领域的研究与应用发展。

📄 摘要（原文）

Do current large language models (LLMs) better solve graph reasoning and generation tasks with parameter updates? In this paper, we propose InstructGraph, a framework that empowers LLMs with the abilities of graph reasoning and generation by instruction tuning and preference alignment. Specifically, we first propose a structured format verbalizer to unify all graph data into a universal code-like format, which can simply represent the graph without any external graph-specific encoders. Furthermore, a graph instruction tuning stage is introduced to guide LLMs in solving graph reasoning and generation tasks. Finally, we identify potential hallucination problems in graph tasks and sample negative instances for preference alignment, the target of which is to enhance the output's reliability of the model. Extensive experiments across multiple graph-centric tasks exhibit that InstructGraph can achieve the best performance and outperform GPT-4 and LLaMA2 by more than 13\% and 38\%, respectively.