Neural Breadcrumbs: Membership Inference Attacks on LLMs Through Hidden State and Attention Pattern Analysis

📄 arXiv: 2509.05449v1 📥 PDF

作者: Disha Makhija, Manoj Ghuhan Arivazhagan, Vinayshekhar Bannihatti Kumar, Rashmi Gangadharaiah

分类: cs.LG, cs.AI

发布日期: 2025-09-05

💡 一句话要点

提出memTrace框架以解决大语言模型的成员推断攻击问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 成员推断攻击 隐私保护 大语言模型 内部表示分析 注意力机制 深度学习 隐私审计 合规评估

📋 核心要点

  1. 现有方法在大型语言模型上进行成员推断攻击的效果有限，往往仅略优于随机猜测，表明隐私泄露风险可能被低估。
  2. 本文提出的memTrace框架通过分析模型的内部表示，提取隐藏状态和注意力模式中的信息信号，以增强成员推断的准确性。
  3. 实验结果显示，memTrace在多个模型家族上实现了平均AUC得分0.85，显著提高了成员推断的检测能力，超越了传统方法。

📝 摘要（中文）

成员推断攻击（MIA）揭示特定数据是否用于训练机器学习模型，是隐私审计和合规评估的重要工具。近期研究表明，MIA在大型语言模型上的表现仅略优于随机猜测，暗示现代预训练方法可能不存在隐私泄露风险。本文通过分析大型语言模型的内部表示，提出了memTrace框架，提取变换器隐藏状态和注意力模式中的信息信号。通过分析层级表示动态、注意力分布特征和跨层转移模式，检测潜在的记忆指纹，取得了在多个模型家族上的强成员检测效果，平均AUC得分达到0.85。这一发现强调了内部模型行为在训练数据暴露方面的潜在指示，呼吁进一步研究成员隐私及开发更强的隐私保护训练技术。

🔬 方法详解

问题定义：本文旨在解决大型语言模型中的成员推断攻击问题，现有方法在此领域的表现有限，未能有效捕捉模型内部的隐私泄露信号。

核心思路：通过分析大型语言模型的内部表示，特别是隐藏状态和注意力模式，提取潜在的成员推断信号，从而提高检测准确性。

技术框架：memTrace框架包括三个主要模块：1) 隐藏状态分析，2) 注意力模式提取，3) 跨层转移模式检测，整体流程为输入候选序列，逐层分析其内部表示。

关键创新：最重要的创新在于通过层级表示动态和注意力分布特征的分析，识别出传统损失基方法无法捕捉的记忆指纹，从而实现更强的成员推断能力。

关键设计：在参数设置上，采用了多层次的注意力机制，损失函数设计为结合传统损失与新提取信号的复合损失，以优化模型的隐私保护能力。具体网络结构为基于变换器的深度学习模型，增强了对内部表示的解析能力。

📊 实验亮点

实验结果表明，memTrace框架在多个模型家族上实现了平均AUC得分0.85，显著优于传统方法，展示了其在成员推断攻击中的有效性和可靠性。这一成果为隐私保护技术的研究提供了新的方向。

🎯 应用场景

该研究在隐私保护领域具有广泛的应用潜力，尤其是在需要确保数据安全性的机器学习模型训练中。通过深入理解模型的内部行为，能够为隐私审计、合规评估和安全性增强提供新的思路和方法，推动更安全的人工智能系统的开发。

📄 摘要（原文）

Membership inference attacks (MIAs) reveal whether specific data was used to train machine learning models, serving as important tools for privacy auditing and compliance assessment. Recent studies have reported that MIAs perform only marginally better than random guessing against large language models, suggesting that modern pre-training approaches with massive datasets may be free from privacy leakage risks. Our work offers a complementary perspective to these findings by exploring how examining LLMs' internal representations, rather than just their outputs, may provide additional insights into potential membership inference signals. Our framework, \emph{memTrace}, follows what we call \enquote{neural breadcrumbs} extracting informative signals from transformer hidden states and attention patterns as they process candidate sequences. By analyzing layer-wise representation dynamics, attention distribution characteristics, and cross-layer transition patterns, we detect potential memorization fingerprints that traditional loss-based approaches may not capture. This approach yields strong membership detection across several model families achieving average AUC scores of 0.85 on popular MIA benchmarks. Our findings suggest that internal model behaviors can reveal aspects of training data exposure even when output-based signals appear protected, highlighting the need for further research into membership privacy and the development of more robust privacy-preserving training techniques for large language models.