Phantoms and Disclosures: a Causal Framework for Auditing Synthetic Data
作者: Kareem Amin, Rudrajit Das, Alessandro Epasto, Adel Javanmard, Dennis Kraft, Mónica Ribero, Sergei Vassilvitskii
分类: cs.LG, cs.AI, stat.AP, stat.ME, stat.ML
发布日期: 2026-06-15
备注: 35 pages, 10 tables, 5 figures
💡 一句话要点
提出可定制的审计框架以检测合成数据中的隐私泄露
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 合成数据 隐私保护 审计框架 统计假设检验 数据泄露 生成式人工智能 模型无关性
📋 核心要点
- 现有方法在合成数据生成中面临隐私泄露的风险，尤其是如何区分真实和偶然的泄露。
- 本文提出的框架通过将输入数据划分为训练集和保留集，利用统计假设检验来识别数据泄露。
- 实验结果表明，该框架在隐私泄露的下限评估上优于传统方法，且计算资源需求显著降低。
📝 摘要（中文）
随着生成式人工智能和大型语言模型的快速普及，合成数据作为一种保护隐私的替代方案受到关注。然而，生成高效合成数据的过程可能会导致从训练数据中记忆和再现私人信息。本文提出了一种可定制的经验审计框架，旨在检测和解释此类数据泄露。该框架能够区分“真实泄露”和“幻影泄露”，并通过严格的统计假设检验，评估观察到的泄露是否符合隐私基准。该方法无需模型访问、无信号插入和无参考模型训练，仅依赖合成输出和保留的控制集。实验表明，该框架有效地作为成员推断攻击，提供比以往基于数据的审计方法更紧凑的隐私泄露下限。
🔬 方法详解
问题定义：本文旨在解决合成数据生成过程中可能出现的隐私泄露问题，尤其是如何有效区分真实泄露和偶然泄露。现有方法往往依赖于模型访问或复杂的信号插入，限制了其适用性和效率。
核心思路：论文提出的审计框架通过将输入数据分为训练集和保留集，结合严格的统计假设检验，能够在不需要模型访问的情况下有效检测数据泄露。这种设计使得框架具有更广泛的适用性和灵活性。
技术框架：整体架构包括数据划分、统计假设检验和泄露评估三个主要模块。首先，将输入数据分为训练集和保留集；然后，通过统计方法评估观察到的泄露是否符合隐私基准；最后，输出泄露评估结果。
关键创新：该框架的核心创新在于其模型无关性和对隐私泄露的精确评估能力。与现有方法相比，它不需要模型访问或复杂的信号插入，显著降低了计算资源的需求。
关键设计：框架的设计中，关键参数包括数据划分比例和统计检验的显著性水平。通过合理设置这些参数，可以提高泄露检测的准确性和可靠性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，该审计框架在隐私泄露评估上提供了比传统方法更紧凑的下限，且在计算资源需求上减少了数量级。相比于以往的数据审计方法，本文提出的框架在准确性和效率上均有显著提升，展现出良好的应用前景。
🎯 应用场景
该研究的潜在应用领域包括金融、医疗和社交媒体等需要保护用户隐私的行业。通过有效审计合成数据的隐私泄露，该框架可以帮助企业在使用合成数据时遵循隐私法规，降低法律风险，提升用户信任度。未来，该框架有望成为合成数据生成和使用过程中的标准工具。
📄 摘要（原文）
The rapid adoption of generative AI and Large Language Models (LLMs) has spurred interest in synthetic data as a privacy-preserving alternative to sensitive real-world datasets. However, generating high-utility synthetic data often carries the risk of memorizing and regurgitating private information from the training corpus. In this work, we present a customizable empirical auditing framework designed to detect and explain such data disclosures. Our framework introduces a mechanism to distinguish between "true disclosures"-where the system directly reproduces a user's information-and "phantom disclosures''-where the system incidentally generates a user's data. By partitioning input data into training and holdout sets and applying rigorous statistical hypothesis testing, we determine if observed disclosures are consistent with strict privacy baselines, such as zero-learning or specific Differential Privacy (DP) bounds. Crucially, this approach requires no model access, no canary insertion, and no reference model training -only the synthetic output and a held-out control set. We demonstrate that this framework effectively functions as a membership inference attack, providing empirical lower bounds on privacy leakage that are tighter than prior data-based auditing methods. Our approach is model-agnostic, applies to any synthetic data generation mechanism, and requires orders of magnitude fewer computational resources than shadow-model or canary-based alternatives.