Are LLM-Enhanced GNNs Privacy-Safe?

📄 arXiv: 2608.25727v1 📥 PDF

作者: Longzhu He, Zelang Wen, Chaozhuo Li, Sen Su

分类: cs.LG, cs.CR

发布日期: 2026-08-26

💡 一句话要点

系统评估LLM增强GNN的隐私风险与防护策略

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 图神经网络 隐私保护 大型语言模型 语义增强 差分隐私 隐私攻击 风险评估 防御策略

📋 核心要点

  1. 现有的LLM增强GNN在提升性能的同时，隐私攻击的脆弱性尚未得到充分研究，存在安全隐患。
  2. 本文提出一个统一框架，通过五个阶段系统评估LLM增强GNN的隐私风险，并探索防御策略。
  3. 实验结果显示，LLM增强GNN在隐私攻击下的脆弱性显著高于传统方法，且差分隐私防御存在效用降低的问题。

📝 摘要（中文）

大型语言模型（LLMs）通过丰富节点表示的语义信息，推动了图神经网络（GNNs）的发展，形成了LLM增强的GNN。然而，这些模型在隐私攻击下的脆弱性尚未得到充分探讨。为此，本文提出了一个统一框架，对LLM增强GNN的隐私风险进行了系统评估，涵盖数据集准备、受害模型训练、隐私攻击、风险评估和防御分析五个阶段。实验表明，尽管LLM增强GNN在效用上有所提升，但其隐私攻击的脆弱性显著高于浅层文本表示基线。此外，语义增强在嵌入空间中放大了与链接、标签和成员资格相关的信号，使其更易受到推断攻击。最后，评估了差分隐私作为防御策略的有效性，发现其在一定程度上缓解了隐私风险，但也显著降低了效用，突显了隐私与效用之间的基本权衡。整体而言，本研究为LLM增强GNN的隐私风险提供了全面理解，并为开发更安全的图学习系统提供了实用见解。

🔬 方法详解

问题定义：本文旨在解决LLM增强GNN在隐私攻击下的脆弱性问题。现有方法在提升模型性能的同时，未能有效考虑隐私保护，导致敏感信息泄露的风险增加。

核心思路：论文通过构建一个统一的评估框架，系统性地分析LLM增强GNN的隐私风险，识别潜在的攻击方式，并探索有效的防御策略。

技术框架：整体框架包括五个主要阶段：数据集准备、受害模型训练、隐私攻击实施、风险评估和防御分析。每个阶段都为全面理解隐私风险提供了必要的支持。

关键创新：最重要的创新在于系统性地评估LLM增强GNN的隐私风险，并通过实验揭示了语义增强如何放大嵌入空间中的敏感信号，使其更易受到攻击。这一发现与现有方法的隐私保护策略形成鲜明对比。

关键设计：在实验中，构建了42种受害模型配置，结合多种基于LLM的特征增强器与代表性GNN骨干网络，采用六种隐私攻击方法，针对链接、标签和成员资格推断等三种基本威胁进行评估。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，LLM增强GNN在隐私攻击下的脆弱性显著高于传统的浅层文本表示基线，尤其在链接、标签和成员资格推断方面表现突出。尽管引入了差分隐私作为防御策略，但其效用下降幅度显著，突显了隐私与效用之间的权衡关系。

🎯 应用场景

该研究的潜在应用领域包括社交网络分析、推荐系统和生物信息学等，尤其是在需要处理敏感信息的场景中。通过深入理解LLM增强GNN的隐私风险，研究者和开发者可以设计出更安全的图学习系统，确保用户数据的隐私保护，从而增强用户信任。

📄 摘要（原文）

Large language models (LLMs) have recently advanced graph neural networks (GNNs) by enriching node representations with semantic information, giving rise to LLM-enhanced GNNs that achieve substantial performance gains. However, their vulnerability to privacy attacks, in which adversaries infer sensitive information from model outputs, remains largely underexplored. To bridge this gap, we present a systematic evaluation of privacy risks in LLM-enhanced GNNs through a unified framework consisting of five stages: (1) dataset preparation, (2) victim model training, (3) privacy attack, (4) risk assessment, and (5) defense analysis. Specifically, we conduct experiments on six real-world text-attributed graph datasets covering diverse domains. We consider six representative privacy attack methods targeting three fundamental threats, namely link, label, and membership inference, and construct 42 victim model configurations by combining multiple LLM-based feature enhancers with representative GNN backbones. Extensive experiments show that, despite their utility improvements, LLM-enhanced GNNs consistently exhibit increased vulnerability to privacy attacks compared to shallow text representation baselines. Further analysis reveals that semantic enrichment amplifies link-, label-, and membership-related signals in the embedding space, making them more exploitable by inference attacks. Finally, we evaluate differential privacy as a defense strategy and show that, while it can partially mitigate privacy risks, it introduces significant utility degradation, highlighting a fundamental privacy-utility trade-off in LLM-enhanced graph learning. Overall, this work provides a comprehensive understanding of privacy risks in LLM-enhanced GNNs and offers practical insights for developing more secure and trustworthy graph learning systems.