Parameter-Efficient Tuning Large Language Models for Graph Representation Learning

📄 arXiv: 2404.18271v1 📥 PDF

作者: Qi Zhu, Da Zheng, Xiang Song, Shichang Zhang, Bowen Jin, Yizhou Sun, George Karypis

分类: cs.CL, cs.LG

发布日期: 2024-04-28

💡 一句话要点

提出GPEFT以高效解决图表示学习中的LLM应用问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 图表示学习 大型语言模型 图神经网络 参数高效微调 文本丰富图 链接预测 深度学习

📋 核心要点

  1. 现有方法在将大型语言模型应用于图表示学习时，面临时间和内存消耗高的问题。
  2. 本文提出的GPEFT方法通过图神经网络生成图提示，结合冻结的LLM进行高效的图表示学习。
  3. 实验结果显示，GPEFT在8个文本丰富图上实现了平均2%的性能提升，验证了其有效性和效率。

📝 摘要（中文）

文本丰富的图在许多实际商业应用中普遍存在，尽管大型语言模型（LLMs）在理解文本方面表现出色，但将其有效应用于图的表示学习仍面临重大挑战。为此，本文提出了一种新方法——图感知参数高效微调（GPEFT），通过图神经网络（GNN）编码邻近节点的结构信息，并将其作为图提示插入文本序列开头。我们通过对8个不同文本丰富图的实验验证了该方法的有效性，观察到在链接预测评估中，hit@1和平均倒数排名（MRR）平均提升了2%。

🔬 方法详解

问题定义：本文旨在解决如何高效地将大型语言模型应用于图表示学习的问题。现有方法在时间和内存消耗上存在显著不足，限制了其在实际应用中的可行性。

核心思路：论文提出的GPEFT方法通过图神经网络（GNN）编码图的结构信息，并将其作为图提示插入到文本序列的开头，从而提高了LLM在图表示学习中的表现。

技术框架：整体架构包括两个主要模块：首先是GNN模块，用于生成图提示；其次是冻结的LLM模块，利用图提示进行文本序列的处理和节点嵌入的生成。

关键创新：GPEFT的核心创新在于通过图提示的方式，将结构信息与文本信息结合，直接从大型语言模型中生成节点嵌入，显著降低了微调成本。与现有的联合GNN和LLM的方法相比，GPEFT在效率和效果上均有提升。

关键设计：在设计中，GNN被预训练以帮助冻结的LLM预测节点文本中的下一个标记，确保图提示的质量。此外，参数设置和损失函数的选择也经过精心设计，以优化模型性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在8个不同的文本丰富图上进行的实验表明，GPEFT在链接预测任务中实现了平均2%的性能提升，具体体现在hit@1和平均倒数排名（MRR）上。这一结果展示了GPEFT在结合LLM与图结构信息方面的有效性，且能够与多种大型语言模型（如OPT、LLaMA和Falcon）无缝集成。

🎯 应用场景

该研究的潜在应用领域包括社交网络分析、推荐系统、知识图谱构建等。通过提高图表示学习的效率和效果，GPEFT能够为商业智能、信息检索等领域提供更强大的支持，推动相关技术的进步与应用。未来，随着文本丰富图的应用场景不断扩展，该方法的影响力将进一步增强。

📄 摘要（原文）

Text-rich graphs, which exhibit rich textual information on nodes and edges, are prevalent across a wide range of real-world business applications. Large Language Models (LLMs) have demonstrated remarkable abilities in understanding text, which also introduced the potential for more expressive modeling in text-rich graphs. Despite these capabilities, efficiently applying LLMs to representation learning on graphs presents significant challenges. Recently, parameter-efficient fine-tuning methods for LLMs have enabled efficient new task generalization with minimal time and memory consumption. Inspired by this, we introduce Graph-aware Parameter-Efficient Fine-Tuning - GPEFT, a novel approach for efficient graph representation learning with LLMs on text-rich graphs. Specifically, we utilize a graph neural network (GNN) to encode structural information from neighboring nodes into a graph prompt. This prompt is then inserted at the beginning of the text sequence. To improve the quality of graph prompts, we pre-trained the GNN to assist the frozen LLM in predicting the next token in the node text. Compared with existing joint GNN and LMs, our method directly generate the node embeddings from large language models with an affordable fine-tuning cost. We validate our approach through comprehensive experiments conducted on 8 different text-rich graphs, observing an average improvement of 2% in hit@1 and Mean Reciprocal Rank (MRR) in link prediction evaluations. Our results demonstrate the efficacy and efficiency of our model, showing that it can be smoothly integrated with various large language models, including OPT, LLaMA and Falcon.