Large Language Models as Topological Structure Enhancers for Text-Attributed Graphs

📄 arXiv: 2311.14324v3 📥 PDF

作者: Shengyin Sun, Yuxiang Ren, Jiehao Chen, Chen Ma

分类: cs.AI, cs.CL, cs.LG

发布日期: 2023-11-24 (更新: 2025-02-23)

备注: 10 pages

💡 一句话要点

提出利用大语言模型增强文本属性图的拓扑结构以提升节点分类性能

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 图学习 拓扑结构优化 节点分类 伪标签传播 图神经网络 文本属性图

📋 核心要点

  1. 现有方法主要集中于利用LLMs增强节点特征，未能有效提升图的拓扑结构。
  2. 本文提出通过LLMs输出节点属性的语义相似度，优化图的边结构，并引入伪标签传播来指导GNN学习。
  3. 在四个真实数据集上的实验结果表明，LLM增强的图拓扑优化显著提升了模型性能。

📝 摘要（中文）

最新的大语言模型（LLMs）在自然语言处理（NLP）领域取得了革命性进展。受到LLMs在NLP任务中成功应用的启发，近期研究开始探索将LLMs应用于图学习任务的潜力。然而，现有研究大多集中于将LLMs作为强大的节点特征增强器，而将LLMs用于增强图的拓扑结构的问题尚未得到充分研究。本文探讨如何利用LLMs的信息检索和文本生成能力，在节点分类设置下优化文本属性图（TAG）的拓扑结构。我们提出通过LLMs帮助删除不可靠的边并添加可靠的边，并利用LLMs生成的伪标签来改善图的拓扑结构。实验结果表明，基于LLMs的图拓扑优化在公共基准上实现了0.15%至2.47%的性能提升。

🔬 方法详解

问题定义：本文旨在解决如何利用大语言模型（LLMs）增强文本属性图（TAG）的拓扑结构，以提高节点分类的准确性。现有方法主要关注节点特征的增强，未能有效处理图的边结构优化问题。

核心思路：论文的核心思路是利用LLMs的信息检索和文本生成能力，通过输出节点属性之间的语义相似度来优化图的边结构，并通过生成伪标签来引导图神经网络（GNN）学习合适的边权重。

技术框架：整体架构包括两个主要模块：首先，使用LLMs进行边的删除和添加，基于节点属性的相似度进行优化；其次，利用LLMs生成的伪标签进行传播，作为正则化项指导GNN的训练过程。

关键创新：最重要的技术创新在于将LLMs应用于图的拓扑结构优化，尤其是通过语义相似度来动态调整边的可靠性，这是与现有方法的本质区别。

关键设计：在设计中，采用精细的提示设计来引导LLMs输出相似度，并在GNN训练中引入伪标签传播作为正则化，确保模型能够学习到更准确的边权重。具体的损失函数和网络结构细节在实验部分进行了详细描述。

🖼️ 关键图片

img_0

📊 实验亮点

实验结果表明，基于LLMs的图拓扑优化方法在四个真实数据集上实现了0.15%至2.47%的性能提升，相较于传统方法具有显著优势，验证了LLMs在图学习任务中的有效性。

🎯 应用场景

该研究具有广泛的应用潜力，尤其在社交网络分析、推荐系统和生物信息学等领域。通过优化图的拓扑结构，可以提高信息传播效率和分类准确性，进而推动相关领域的研究与应用发展。未来，随着LLMs技术的不断进步，本文的方法有望在更多复杂图结构的学习任务中发挥重要作用。

📄 摘要（原文）

The latest advancements in large language models (LLMs) have revolutionized the field of natural language processing (NLP). Inspired by the success of LLMs in NLP tasks, some recent work has begun investigating the potential of applying LLMs in graph learning tasks. However, most of the existing work focuses on utilizing LLMs as powerful node feature augmenters, leaving employing LLMs to enhance graph topological structures an understudied problem. In this work, we explore how to leverage the information retrieval and text generation capabilities of LLMs to refine/enhance the topological structure of text-attributed graphs (TAGs) under the node classification setting. First, we propose using LLMs to help remove unreliable edges and add reliable ones in the TAG. Specifically, we first let the LLM output the semantic similarity between node attributes through delicate prompt designs, and then perform edge deletion and edge addition based on the similarity. Second, we propose using pseudo-labels generated by the LLM to improve graph topology, that is, we introduce the pseudo-label propagation as a regularization to guide the graph neural network (GNN) in learning proper edge weights. Finally, we incorporate the two aforementioned LLM-based methods for graph topological refinement into the process of GNN training, and perform extensive experiments on four real-world datasets. The experimental results demonstrate the effectiveness of LLM-based graph topology refinement (achieving a 0.15%--2.47% performance gain on public benchmarks).