Natural Identifiers for Privacy and Data Audits in Large Language Models

📄 arXiv: 2606.24408v1 📥 PDF

作者: Lorenzo Rossi, Bartłomiej Marek, Franziska Boenisch, Adam Dziedzic

分类: cs.LG

发布日期: 2026-06-23

备注: Accepted at ICLR 2026

💡 一句话要点

提出自然标识符以解决大语言模型隐私审计问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 隐私审计 差分隐私 自然标识符 数据集推断 随机字符串 数据安全

📋 核心要点

  1. 现有的差分隐私审计方法需插入特制信号数据，导致已训练模型审计不切实际。
  2. 本文提出自然标识符（NIDs），作为一种新颖的解决方案，能够生成同分布的随机字符串用于审计。
  3. 实验表明，使用NIDs可以实现无需重新训练的事后差分隐私审计，并支持数据集推断。

📝 摘要（中文）

评估大语言模型（LLMs）的隐私性面临重大挑战。现有的差分隐私审计方法通常需要在训练过程中插入特制的信号数据，这使得对已训练模型的审计变得不切实际。此外，数据集推断需要访问私有的非成员保留数据集，而这些数据集在现实中往往难以获得。为了解决这些问题，本文提出了自然标识符（NIDs），这是一种在常见LLM训练数据集中自然存在的结构化随机字符串。NIDs的格式使得可以生成无限数量的随机字符串，作为审计的替代信号和用于数据集推断的同分布保留数据。我们的评估表明，使用NIDs可以在不进行重新训练的情况下促进事后差分隐私审计，并且能够对任何包含NIDs的可疑数据集进行数据集推断，而无需私有的非成员保留数据集。

🔬 方法详解

问题定义：本文旨在解决大语言模型隐私审计中的两个主要问题：现有方法需要特制信号数据，导致已训练模型的审计变得不切实际；数据集推断需要私有的非成员保留数据集，而这些数据集往往难以获得。

核心思路：论文提出自然标识符（NIDs），这些是结构化的随机字符串，能够在常见的LLM训练数据集中自然存在。NIDs的设计使得可以生成无限数量的同分布随机字符串，作为审计的替代信号和数据集推断的保留数据。

技术框架：整体架构包括NIDs的生成、审计过程和数据集推断模块。首先，从训练数据集中提取NIDs，然后利用这些NIDs进行差分隐私审计和数据集推断。

关键创新：最重要的技术创新在于NIDs的引入，它们能够在不需要重新训练模型的情况下，提供有效的审计和推断手段。这与现有方法的本质区别在于，NIDs不依赖于特制信号数据或私有数据集。

关键设计：在设计中，NIDs的生成依赖于加密哈希和缩短URL等技术，确保生成的字符串具有良好的随机性和分布特性。

📊 实验亮点

实验结果显示，使用NIDs进行差分隐私审计时，能够在不进行任何模型重新训练的情况下，成功实现审计，且对包含NIDs的可疑数据集进行推断时，准确性显著提高。具体性能数据和对比基线尚未提供。

🎯 应用场景

该研究的潜在应用领域包括大语言模型的隐私保护、数据审计和合规性检查。通过提供一种无需重新训练的审计方法，NIDs可以帮助企业和研究机构更有效地管理和评估其模型的隐私风险，提升数据使用的透明度和安全性。

📄 摘要（原文）

Assessing the privacy of large language models (LLMs) presents significant challenges. In particular, most existing methods for auditing differential privacy require the insertion of specially crafted canary data during training, making them impractical for auditing already-trained models without costly retraining. Additionally, dataset inference, which audits whether a suspect dataset was used to train a model, is infeasible without access to a private non-member held-out dataset. Yet, such held-out datasets are often unavailable or difficult to construct for real-world cases since they have to be from the same distribution (IID) as the suspect data. These limitations severely hinder the ability to conduct scalable, post-hoc audits. To enable such audits, this work introduces natural identifiers (NIDs) as a novel solution to the above-mentioned challenges. NIDs are structured random strings, such as cryptographic hashes and shortened URLs, naturally occurring in common LLM training datasets. Their format enables the generation of unlimited additional random strings from the same distribution, which can act as alternative canaries for audits and as same-distribution held-out data for dataset inference. Our evaluation highlights that indeed, using NIDs, we can facilitate post-hoc differential privacy auditing without any retraining and enable dataset inference for any suspect dataset containing NIDs without the need for a private non-member held-out dataset.