Memorization Is Not Extraction: Tight Differential-Privacy Bounds and Audit Blind Spots
作者: Xujun Che, Depeng Xu, Shuhan Yuan
分类: cs.CR, cs.CL, cs.LG
发布日期: 2026-08-27
💡 一句话要点
提出精确的差分隐私界限以解决记忆与提取问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 差分隐私 记忆机制 自适应提取 模型审计 自然语言处理 隐私保护 去学习
📋 核心要点
- 现有方法在大型语言模型中对记忆和提取的界限定义不清，导致难以有效控制和审计模型的行为。
- 论文通过明确反事实记忆和自适应提取的差分隐私常数，提出了一种新的界限定义方法，揭示了两者之间的独立性。
- 研究结果表明，在亿参数模型中，存在可记忆但不可提取的机制，这为损失审计和去学习验证带来了新的挑战。
📝 摘要（中文）
在大型语言模型中，记忆的测量通过多种定义进行，但其正式关系尚不明确，差分隐私（DP）被视为对所有定义的代理。本文明确了对反事实记忆和自适应提取的DP常数，并展示了它们之间并不相互控制。在$f$-DP下，任何自适应提取协议的成功概率受限于基线的阈值，且该界限在密集基线集上是紧的。反事实记忆的上限由优势函数决定，且在实际应用中，存在两种机制：一种是可记忆但不可提取，另一种则是完全可提取但对每个基于损失的评分完全不可见。这一发现为损失审计和去学习验证带来了双重盲点。
🔬 方法详解
问题定义：本文旨在解决大型语言模型中记忆与提取的界限不明确的问题。现有方法未能有效区分反事实记忆和自适应提取的影响，导致审计和验证的盲点。
核心思路：通过精确界定反事实记忆和自适应提取的差分隐私常数，论文提出了一种新的框架，强调这两者之间的独立性，从而为模型的安全性提供更清晰的界限。
技术框架：整体架构包括对反事实记忆和自适应提取的数学建模，利用$f$-DP进行分析，并通过几何噪声计数实现精确的界限控制。主要模块包括记忆机制分析和提取协议设计。
关键创新：最重要的技术创新在于明确了反事实记忆和自适应提取的界限，并展示了它们之间的非控制关系。这一发现为理解模型的行为提供了新的视角。
关键设计：在参数设置上，论文使用了最小熵来证明基线分布的独立性，并在损失函数设计中引入了优势函数，以确保在不同风险水平下的提取能力。
🖼️ 关键图片
📊 实验亮点
实验结果表明，在亿参数模型中，提出的方法能够有效识别可记忆但不可提取的机制，且在反事实记忆的控制上，达到了比传统方法更严格的界限。这一发现为损失审计提供了新的视角。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理中的模型审计、隐私保护和去学习等。通过明确记忆与提取的界限，研究为开发更安全的AI系统提供了理论基础，未来可能影响模型设计和评估标准。
📄 摘要（原文）
Memorization in large language models is measured through a zoo of definitions whose formal relations are unknown, and differential privacy (DP) is treated as a proxy against all of them at once. We pin down the exact DP constant for the two that carry the practical weight, counterfactual memorization and adaptive extraction, and show that they do not control each other. Under $f$-DP, every adaptive extraction protocol with list budget $m$ succeeds with probability at most $1-f(κ)$ for the oblivious baseline $κ$, and the bound is tight on a dense set of baselines: DP uniformly controls extraction exactly up to a threshold in how well the secret can be guessed a priori. Min-entropy certifies that baseline distribution-free, since $H_\infty\geε\log_2 e+\log_2(m/τ)$ holds extraction below a risk level $τ\le1/2$ under pure $ε$-DP for every prior, and is exact on uniform priors. On the memorization side, $f$-DP caps the counterfactual memorization of any bounded score at an advantage functional $η(f)$, equal to $\tanh(ε/2)$ under pure DP; for $k\ge2$ duplicated copies the naive $ε\mapsto kε$ bound $\tanh(kε/2)$ is unattainable, the exact constant being a closed-form staircase attained by geometric noisy counting. That cap is attained inside the local score class used in practice, and it is there that the two measures separate: one mechanism is memorized yet unextractable, another fully extractable yet exactly invisible to every loss-based score. The two-sided blind spot this opens for loss-based auditing and unlearning verification survives on billion-parameter models: a reserved-trigger release is recovered verbatim from one prompt while the audits practitioners deploy certify it clean.