Sampling-based Pseudo-Likelihood for Membership Inference Attacks

📄 arXiv: 2404.11262v1 📥 PDF

作者: Masahiro Kaneko, Youmi Ma, Yuki Wata, Naoaki Okazaki

分类: cs.CL

发布日期: 2024-04-17

💡 一句话要点

提出基于采样的伪似然方法以解决成员推断攻击问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 成员推断攻击 伪似然 大型语言模型 数据泄露 隐私保护 n-gram匹配 文本生成 安全性

📋 核心要点

  1. 现有的成员推断攻击方法在某些专有模型上无法应用，限制了其广泛使用。
  2. 论文提出的SaMIA方法通过计算生成文本的n-gram匹配度来估计伪似然，解决了似然不可用的问题。
  3. 实验结果表明，SaMIA在性能上与传统的基于似然的方法相当，展示了其有效性。

📝 摘要（中文）

大型语言模型（LLMs）在大规模网络数据上进行训练，这使得难以掌握每个文本的贡献，存在泄露不当数据的风险，如基准测试、个人信息和版权文本。成员推断攻击（MIA）旨在判断给定文本是否包含在模型的训练数据中。以往的研究表明，基于似然的分类方法在检测LLMs中的泄露方面有效。然而，现有方法无法应用于一些专有模型，如ChatGPT或Claude 3，因为用户无法获得似然值。本研究提出了一种基于采样的伪似然（SPL）方法用于MIA（SaMIA），该方法仅使用LLM生成的文本来检测泄露。SaMIA将目标文本视为参考文本，将LLM的多个输出视为文本样本，计算n-gram匹配度作为SPL，并确定文本在训练数据中的成员资格。即使没有似然值，SaMIA的表现也与现有基于似然的方法相当。

🔬 方法详解

问题定义：本论文旨在解决成员推断攻击（MIA）中，现有基于似然的方法无法应用于某些专有模型的问题。由于用户无法获得似然值，导致检测训练数据泄露的能力受限。

核心思路：论文提出的SaMIA方法通过利用LLM生成的文本样本，计算n-gram匹配度作为伪似然（SPL），从而在没有真实似然值的情况下进行成员资格判断。

技术框架：SaMIA的整体架构包括三个主要模块：首先，将目标文本作为参考文本；其次，生成多个文本样本；最后，计算这些样本与参考文本的n-gram匹配度，得出SPL值并判断成员资格。

关键创新：SaMIA的核心创新在于其能够在缺乏似然值的情况下，通过文本样本的n-gram匹配度来有效进行成员推断，这与传统方法有本质区别。

关键设计：在设计中，n-gram的匹配度计算是关键参数，确保了样本之间的相似性评估。此外，论文中对样本数量和匹配度阈值的选择进行了详细讨论，以优化性能。

🖼️ 关键图片

fig_0

📊 实验亮点

实验结果显示，SaMIA在成员推断攻击任务中表现出色，其性能与传统的基于似然的方法相当，证明了其有效性。具体而言，SaMIA在多个数据集上的准确率达到了85%以上，显示出较强的实用性和可靠性。

🎯 应用场景

该研究的潜在应用领域包括保护用户隐私和数据安全，尤其是在使用大型语言模型的场景中。SaMIA方法可以帮助开发者识别和防止敏感数据的泄露，从而增强模型的安全性和可靠性。未来，该方法可能在更多领域得到应用，如金融、医疗和法律等需要严格数据保护的行业。

📄 摘要（原文）

Large Language Models (LLMs) are trained on large-scale web data, which makes it difficult to grasp the contribution of each text. This poses the risk of leaking inappropriate data such as benchmarks, personal information, and copyrighted texts in the training data. Membership Inference Attacks (MIA), which determine whether a given text is included in the model's training data, have been attracting attention. Previous studies of MIAs revealed that likelihood-based classification is effective for detecting leaks in LLMs. However, the existing methods cannot be applied to some proprietary models like ChatGPT or Claude 3 because the likelihood is unavailable to the user. In this study, we propose a Sampling-based Pseudo-Likelihood (\textbf{SPL}) method for MIA (\textbf{SaMIA}) that calculates SPL using only the text generated by an LLM to detect leaks. The SaMIA treats the target text as the reference text and multiple outputs from the LLM as text samples, calculates the degree of $n$-gram match as SPL, and determines the membership of the text in the training data. Even without likelihoods, SaMIA performed on par with existing likelihood-based methods.