Have You Ever Seen Them? Entity-level Membership Inference through Interrogating Large Language Models
作者: Yiran Zhu, Ziqi Yang
分类: cs.CL
发布日期: 2026-06-22
💡 一句话要点
提出实体级成员推断方法以解决LLM隐私泄露问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 隐私泄露 成员推断 大型语言模型 实体识别 模型安全性 数据合规 机器学习
📋 核心要点
- 现有的成员推断方法主要关注样本级别的隐私泄露，难以评估LLM对实体信息的隐私风险。
- 本文提出了一种新的实体级成员推断方法，通过询问策略来判断LLM是否接触过特定实体的信息。
- 实验结果显示，提出的方法在AUC上达到0.97，平衡准确率较最佳基线提升6.0%至17.5%。
📝 摘要（中文）
大型语言模型（LLMs）引发了对隐私泄露和版权合规的日益关注。成员推断是评估这些风险的关键工具，但现有研究主要集中在特定样本的训练使用情况。本文提出实体级成员推断，旨在确定与目标实体相关的信息是否被用于LLM的训练。我们在仅观察生成文本的黑箱设置中研究此任务，形式化了任务的可行性条件，并基于此提出了五种询问策略。实验结果表明，针对人实体的推断方法在AUC上达到0.97，相较于最佳基线提高了6.0%至17.5%的平衡准确率。
🔬 方法详解
问题定义：本文解决的是如何判断大型语言模型是否在训练中接触过特定实体的信息。现有方法主要集中在样本级别，无法有效评估实体级别的隐私泄露风险。
核心思路：我们提出了一种实体级成员推断方法，借鉴人类记忆的行为，通过询问模型来揭示其对实体信息的接触情况。
技术框架：整体架构包括三个主要模块：线索收集、提示构建和响应分析。首先，利用有限的实体线索构建提示，然后生成模型响应，最后通过语义特征推断成员资格。
关键创新：最重要的创新在于将成员推断从样本级别扩展到实体级别，提出了五种基于线索的询问策略，显著提高了推断的准确性。
关键设计：在设计中，我们采用了特定的提示构建方法，限制了输入的线索数量，并通过语义特征分析生成文本，确保推断的有效性和准确性。实验中还适配了最先进的样本级方法作为基线进行比较。
🖼️ 关键图片
📊 实验亮点
实验结果表明，提出的实体级成员推断方法在AUC上达到了0.97，相较于最佳适配基线提升了6.0%至17.5%的平衡准确率，显示出显著的性能优势。
🎯 应用场景
该研究的潜在应用领域包括数据隐私保护、模型安全性评估和合规性检查。通过有效识别LLM对实体信息的接触情况，能够帮助开发者和企业更好地管理和保护用户数据，降低隐私泄露风险，提升模型的可信度和合规性。
📄 摘要（原文）
Large Language Models (LLMs) raise growing concerns about privacy leakage and copyright compliance. Membership inference is a key tool for assessing such risks, but existing studies mainly focus on whether specific samples or sample-based data units are used for training. We argue that LLMs exhibit a human-memory-like behavior: an LLM may not memorize a specific sample verbatim, yet it can accumulate and reveal knowledge about a real-world entity from scattered mentions. This analogy motivates us to examine whether an LLM can be interrogated like a human interviewee to reveal its exposure to entity-related information. Motivated by this question, we propose entity-level membership inference, which determines whether information related to a target entity is used in LLM training. We study this task in the practical label-only black-box setting, where only generated texts are observable. We formalize the task under clue, input, and model constraints, establish the necessary and sufficient conditions for its feasibility, and instantiate five interrogation strategies based on this formalization. The strategies use limited entity clues to construct prompts, elicit entity-related responses, and infer membership from semantic features among the generated texts. We construct entity-level datasets and adapt state-of-the-art sample-level label-only methods to the entity-level setting as baselines. Experiments on person entities show that our methods achieve AUC up to 0.97 and bring gains of 6.0%--17.5% in Balanced Accuracy over the best adapted baseline.