GraspLLM: Towards Zero-Shot Generalization on Text-Attributed Graphs with LLMs

📄 arXiv: 2606.11898v1 📥 PDF

作者: Hengyi Feng, Zeang Sheng, Meiyi Qiang, Meiyi Qiang, Wentao Zhang

分类: cs.CL, cs.LG

发布日期: 2026-06-10

🔗 代码/项目: GITHUB

💡 一句话要点

提出GraspLLM以解决文本属性图的零-shot泛化问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 文本属性图 大型语言模型 零-shot学习 图结构理解 对比学习 跨任务泛化 语义空间

📋 核心要点

  1. 现有方法在不同图和任务之间的泛化能力有限，难以捕捉可转移的图结构模式。
  2. GraspLLM框架结合了图结构理解与LLMs的语义理解，通过对比学习提取数据无关的结构信息。
  3. 在多个TAG基准数据集上，GraspLLM在零-shot场景中表现优异，超越了以往的LLM方法。

📝 摘要（中文）

文本属性图（TAGs）的研究近年来受到广泛关注，因其在引用网络、电子商务平台、社交媒体和网页等多种实际数据场景中的应用。尽管已有研究尝试将大型语言模型（LLMs）与TAGs结合，但现有方法在不同图和任务之间的泛化能力仍然有限。为此，本文提出了GraspLLM框架，结合图结构理解与LLMs的语义理解能力，增强跨数据集和跨任务的泛化能力。通过统一语义空间表示节点文本，并进行基于图样式的对比学习，提取数据无关的结构信息。实验结果表明，GraspLLM在多个TAG基准数据集上表现优于现有方法，尤其在零-shot场景中展现出强大的泛化能力。

🔬 方法详解

问题定义：本文旨在解决文本属性图（TAGs）在不同图和任务之间的泛化能力不足的问题。现有方法在捕捉可转移的图结构模式方面存在局限，导致在新任务或新数据集上表现不佳。

核心思路：GraspLLM框架通过结合图结构理解与大型语言模型（LLMs）的语义理解能力，旨在提升跨数据集和跨任务的泛化能力。具体而言，采用统一的语义空间表示节点文本，并通过对比学习提取结构信息。

技术框架：GraspLLM的整体架构包括几个主要模块：首先，使用冻结的通用嵌入模型将不同图的节点文本映射到统一的语义空间；其次，进行基于图样式的对比学习，提取数据无关的结构信息；最后，利用最优上下文子图提取与目标节点相关的子图，并通过对齐投影器将其对齐到LLM的token空间。

关键创新：GraspLLM的核心创新在于其结合了图结构理解与LLMs的语义理解，特别是通过对比学习提取结构信息的方式，使其在零-shot场景中表现出色。这一方法与现有方法的本质区别在于其更好地捕捉了图的结构特征。

关键设计：在设计上，GraspLLM使用了冻结的通用嵌入模型来保持语义一致性，并通过多种图样式的对比学习来增强模型的泛化能力。损失函数的设计也考虑了对比学习的特点，以确保模型能够有效学习到结构信息。整体网络结构经过优化，以适应不同数据集的特征。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在多个TAG基准数据集上的实验结果显示，GraspLLM在零-shot场景中显著优于以往的LLM方法，尤其在多样化任务中表现出色，提升幅度达到了XX%（具体数据待补充）。

🎯 应用场景

GraspLLM的研究成果在多个领域具有潜在应用价值，包括社交网络分析、推荐系统、知识图谱构建等。通过提升文本属性图的泛化能力，该框架能够更好地处理多样化的数据场景，促进智能系统在复杂环境中的决策能力。未来，该方法可能推动更多基于图的学习任务的发展。

📄 摘要（原文）

Research on Text-Attributed Graphs (TAGs) has gained significant attention recently due to its broad applications across various real-world data scenarios, such as citation networks, e-commerce platforms, social media, and web pages. Inspired by the remarkable semantic understanding ability of Large Language Models (LLMs), there have been numerous attempts to integrate LLMs into TAGs. However, existing methods still struggle to generalize across diverse graphs and tasks, and their ability to capture transferable graph structural patterns remains limited. To address this, we introduce the GraspLLM, a framework that combines Graph structural comprehension with semantic understanding prowess of LLMs to enhance the cross-dataset and cross-task generalizability. Specifically, we represent node texts from different graphs in a unified semantic space with a frozen general embedding model, on top of which we perform motif-aware contrastive learning across multiple motif-induced adjacency matrices to extract dataset-agnostic structural information. Then, with our proposed optimal contextual subgraph, we extract the most contextually relevant subgraph for each target node and align these subgraphs to the token space of LLM via an alignment projector. Extensive experiments on TAG benchmark datasets spanning diverse domains reveal that GraspLLM consistently outperforms previous LLM-based methods for TAGs, especially in zero-shot scenarios, highlighting its strong generalizability across different datasets and tasks. Our code is available at https://github.com/Heinz217/GraspLLM.