Can GNN be Good Adapter for LLMs?

📄 arXiv: 2402.12984v1 📥 PDF

作者: Xuanwen Huang, Kaiqiao Han, Yang Yang, Dezheng Bao, Quanjin Tao, Ziwei Chai, Qi Zhu

分类: cs.CL, cs.AI

发布日期: 2024-02-20

备注: Accepted by WWW'24

💡 一句话要点

提出GraphAdapter以高效建模文本属性图

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 图神经网络 大型语言模型 文本属性图 零-shot学习 节点分类 模型适配器

📋 核心要点

  1. 现有的TAG建模方法在计算成本上面临巨大挑战，且未能充分利用LLMs的零-shot推理能力。
  2. 论文提出GraphAdapter，利用GNN作为适配器，与LLMs协同工作，以高效处理文本属性图。
  3. 实验结果显示，GraphAdapter在节点分类任务上平均提升约5%，并可适应多种语言模型。

📝 摘要（中文）

近年来，大型语言模型（LLMs）在理解和零-shot学习文本数据方面表现出色，为许多文本相关领域带来了显著进展。在图形领域，许多实际场景也涉及文本数据，任务和节点特征可以通过文本描述。这些文本属性图（TAGs）在社交媒体、推荐系统等方面有广泛应用。本文探讨如何利用LLMs对TAGs进行建模。现有的TAG建模方法基于百万规模的语言模型，但在扩展到十亿规模的LLMs时面临巨大的计算成本挑战，并忽视了LLMs的零-shot推理能力。因此，我们提出了GraphAdapter，利用图神经网络（GNN）作为高效适配器，与LLMs协同工作以处理TAGs。GNN适配器引入的可训练参数较少，且训练计算成本低。通过在多个真实TAG上进行广泛实验，基于Llama 2的GraphAdapter在节点分类上平均提升约5%。此外，GraphAdapter还可以适应其他语言模型，包括RoBERTa和GPT-2。实验结果表明，GNN可以作为LLMs在TAG建模中的有效适配器。

🔬 方法详解

问题定义：本文旨在解决如何高效建模文本属性图（TAGs）的问题。现有方法在扩展到大规模语言模型时，面临高计算成本和零-shot推理能力的忽视。

核心思路：论文提出GraphAdapter，利用图神经网络（GNN）作为适配器，减少可训练参数并降低计算成本，以便与大型语言模型（LLMs）协同工作。

技术框架：整体框架包括GNN适配器和LLMs的结合，采用自回归方式对节点文本进行训练，完成下游任务时通过特定提示进行微调。

关键创新：最重要的创新在于将GNN作为适配器引入LLMs中，显著降低了计算成本并提高了模型的适应性，与传统方法相比，GNN适配器的参数量更少，训练更高效。

关键设计：GNN适配器的设计中，采用了少量可训练参数，损失函数基于节点文本的下一个标记预测，确保了模型在训练过程中的高效性和准确性。整体架构支持多种语言模型的适配。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，基于Llama 2的GraphAdapter在节点分类任务上平均提升约5%。此外，GraphAdapter还能够适应其他语言模型，如RoBERTa和GPT-2，展示了其广泛的适用性和有效性。

🎯 应用场景

该研究的潜在应用领域包括社交媒体分析、推荐系统、知识图谱等，能够有效处理包含文本信息的图数据。通过提高文本属性图的建模效率，GraphAdapter有望推动相关领域的技术进步和应用创新，提升用户体验和系统性能。

📄 摘要（原文）

Recently, large language models (LLMs) have demonstrated superior capabilities in understanding and zero-shot learning on textual data, promising significant advances for many text-related domains. In the graph domain, various real-world scenarios also involve textual data, where tasks and node features can be described by text. These text-attributed graphs (TAGs) have broad applications in social media, recommendation systems, etc. Thus, this paper explores how to utilize LLMs to model TAGs. Previous methods for TAG modeling are based on million-scale LMs. When scaled up to billion-scale LLMs, they face huge challenges in computational costs. Additionally, they also ignore the zero-shot inference capabilities of LLMs. Therefore, we propose GraphAdapter, which uses a graph neural network (GNN) as an efficient adapter in collaboration with LLMs to tackle TAGs. In terms of efficiency, the GNN adapter introduces only a few trainable parameters and can be trained with low computation costs. The entire framework is trained using auto-regression on node text (next token prediction). Once trained, GraphAdapter can be seamlessly fine-tuned with task-specific prompts for various downstream tasks. Through extensive experiments across multiple real-world TAGs, GraphAdapter based on Llama 2 gains an average improvement of approximately 5\% in terms of node classification. Furthermore, GraphAdapter can also adapt to other language models, including RoBERTa, GPT-2. The promising results demonstrate that GNNs can serve as effective adapters for LLMs in TAG modeling.