GraspLLM: Towards Zero-Shot Generalization on Text-Attributed Graphs with LLMs

📄 arXiv: 2606.11898 📥 PDF

作者: Hengyi Feng, Zeang Sheng, Meiyi Qiang, Li Yang, Wentao Zhang

分类: cs.CL, cs.LG

发布日期: 2026-06-12

💡 一句话要点

提出GraspLLM以解决文本属性图的零-shot泛化问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 文本属性图 大型语言模型 零-shot学习 图结构理解 对比学习 泛化能力 社交网络分析

📋 核心要点

  1. 现有方法在不同图和任务之间的泛化能力有限，难以捕捉可转移的图结构模式。
  2. GraspLLM框架结合了图结构理解与LLMs的语义理解，通过motif感知对比学习提升泛化能力。
  3. 在多种TAG基准数据集上，GraspLLM在零-shot场景下显著优于以往方法，展示了强大的跨数据集泛化能力。

📝 摘要（中文）

文本属性图（TAGs）研究因其在引用网络、电商平台、社交媒体和网页等多种实际数据场景中的广泛应用而受到关注。尽管已有多种尝试将大型语言模型（LLMs）与TAGs结合，但现有方法在跨图和跨任务的泛化能力上仍存在不足。为此，本文提出GraspLLM框架，结合图结构理解与LLMs的语义理解能力，提升跨数据集和跨任务的泛化能力。通过统一的语义空间表示节点文本，并进行基于motif的对比学习，提取数据集无关的结构信息。实验结果表明，GraspLLM在多种TAG基准数据集上表现优异，尤其在零-shot场景下，展现出强大的泛化能力。

🔬 方法详解

问题定义：本文旨在解决现有文本属性图（TAGs）方法在跨图和跨任务泛化能力不足的问题，尤其是在捕捉可转移的图结构模式方面存在挑战。

核心思路：GraspLLM框架通过将节点文本表示为统一的语义空间，并结合motif感知对比学习，提取数据集无关的结构信息，从而提升模型的泛化能力。

技术框架：该框架主要包括三个模块：1）使用冻结的通用嵌入模型将节点文本映射到统一的语义空间；2）在多个motif诱导的邻接矩阵上进行对比学习；3）通过对齐投影器将提取的上下文相关子图与LLM的token空间对齐。

关键创新：GraspLLM的创新在于结合了图结构理解与LLMs的语义理解能力，尤其是通过motif感知对比学习提取结构信息，这在现有方法中尚未实现。

关键设计：关键设计包括使用冻结的通用嵌入模型进行节点文本表示，motif感知对比学习的损失函数设计，以及上下文相关子图的提取与对齐投影器的实现。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在多种TAG基准数据集上的实验结果显示，GraspLLM在零-shot场景下的表现显著优于以往的LLM方法，具体提升幅度达到XX%，展现出强大的跨数据集和跨任务的泛化能力。

🎯 应用场景

GraspLLM的研究成果在多个领域具有潜在应用价值，包括社交网络分析、推荐系统、信息检索等。通过提升模型在不同数据集和任务上的泛化能力，能够更好地处理复杂的图数据，推动相关领域的发展。

📄 摘要（原文）

Research on Text-Attributed Graphs (TAGs) has gained significant attention recently due to its broad applications across various real-world data scenarios, such as citation networks, e-commerce platforms, social media, and web pages. Inspired by the remarkable semantic understanding ability of Large Language Models (LLMs), there have been numerous attempts to integrate LLMs into TAGs. However, existing methods still struggle to generalize across diverse graphs and tasks, and their ability to capture transferable graph structural patterns remains limited. To address this, we introduce the GraspLLM, a framework that combines Graph structural comprehension with semantic understanding prowess of LLMs to enhance the cross-dataset and cross-task generalizability. Specifically, we represent node texts from different graphs in a unified semantic space with a frozen general embedding model, on top of which we perform motif-aware contrastive learning across multiple motif-induced adjacency matrices to extract dataset-agnostic structural information. Then, with our proposed optimal contextual subgraph, we extract the most contextually relevant subgraph for each target node and align these subgraphs to the token space of LLM via an alignment projector. Extensive experiments on TAG benchmark datasets spanning diverse domains reveal that GraspLLM consistently outperforms previous LLM-based methods for TAGs, especially in zero-shot scenarios, highlighting its strong generalizability across different datasets and tasks. Our code is available atthis https URL.