Watermarks in the Sand: Impossibility of Strong Watermarking for Generative Models
作者: Hanlin Zhang, Benjamin L. Edelman, Danilo Francati, Daniele Venturi, Giuseppe Ateniese, Boaz Barak
分类: cs.LG, cs.CL, cs.CR
发布日期: 2023-11-07 (更新: 2025-05-27)
备注: ICML 2024. Website: https://hanlin-zhang.com/impossibility-watermarks
💡 一句话要点
证明强水印在生成模型中不可实现的理论研究
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 水印技术 生成模型 安全性研究 攻击方法 模型保护
📋 核心要点
- 现有的水印方案在面对计算能力有限的攻击者时，无法保证水印的强度和输出质量的平衡。
- 论文提出了一种新的攻击方法，攻击者可以在不知道密钥的情况下有效去除水印，挑战了强水印的可行性。
- 实验结果表明，所提出的攻击方法能够成功去除三种现有水印方案的水印，且仅造成轻微的质量下降。
📝 摘要（中文）
水印生成模型的过程是将统计信号（即水印）植入模型输出中，以便后续验证该输出是否由特定模型生成。强水印方案要求计算能力受限的攻击者无法在不显著降低输出质量的情况下删除水印。本文研究了强水印方案的（不）可能性，证明在合理的假设下，强水印是无法实现的。即使在私有检测算法的设置下，水印插入和检测算法共享一个攻击者未知的密钥，强水印依然无法实现。我们提出了一种通用的高效水印攻击，攻击者无需知道方案的私钥或使用的具体方案。我们的攻击基于两个假设：攻击者可以访问“质量oracle”和“扰动oracle”。我们展示了该攻击在现有三种大型语言模型水印方案中的可行性，成功去除了水印，且仅造成轻微的质量下降。
🔬 方法详解
问题定义：本文旨在解决强水印在生成模型中的不可实现性问题。现有水印方案在面对计算能力有限的攻击者时，无法有效保护水印，导致水印容易被去除。
核心思路：论文的核心思路是提出一种通用的高效水印攻击，攻击者无需了解水印方案的具体细节或密钥，即可有效去除水印。通过引入“质量oracle”和“扰动oracle”，攻击者能够在不显著降低输出质量的情况下进行攻击。
技术框架：整体架构包括两个主要模块：水印插入模块和水印检测模块。攻击者通过“质量oracle”评估输出质量，并利用“扰动oracle”进行输出修改，从而实现水印去除。
关键创新：最重要的技术创新点在于提出了攻击者可以在不知道密钥的情况下，利用黑箱访问生成模型进行水印去除的可能性。这一发现挑战了强水印的基本假设。
关键设计：关键设计包括对“质量oracle”和“扰动oracle”的定义，前者用于评估输出质量，后者用于在保持质量的前提下进行扰动。攻击者的能力被设定为低于水印模型，但仍能有效实施攻击。
🖼️ 关键图片
📊 实验亮点
实验结果显示，所提出的攻击方法能够成功去除 Kirchenbauer 等（2023）、Kuditipudi 等（2023）和 Zhao 等（2023）三种现有水印方案的水印，且仅造成轻微的质量下降。这一结果表明，强水印在当前技术条件下难以实现。
🎯 应用场景
该研究对生成模型的水印技术提出了重要的理论挑战，可能影响未来水印方案的设计与实施。随着生成模型能力的提升，攻击者的能力也可能随之增强，促使研究者重新审视水印的有效性和安全性。潜在应用领域包括内容创作、版权保护和模型安全等。
📄 摘要（原文）
Watermarking generative models consists of planting a statistical signal (watermark) in a model's output so that it can be later verified that the output was generated by the given model. A strong watermarking scheme satisfies the property that a computationally bounded attacker cannot erase the watermark without causing significant quality degradation. In this paper, we study the (im)possibility of strong watermarking schemes. We prove that, under well-specified and natural assumptions, strong watermarking is impossible to achieve. This holds even in the private detection algorithm setting, where the watermark insertion and detection algorithms share a secret key, unknown to the attacker. To prove this result, we introduce a generic efficient watermark attack; the attacker is not required to know the private key of the scheme or even which scheme is used. Our attack is based on two assumptions: (1) The attacker has access to a "quality oracle" that can evaluate whether a candidate output is a high-quality response to a prompt, and (2) The attacker has access to a "perturbation oracle" which can modify an output with a nontrivial probability of maintaining quality, and which induces an efficiently mixing random walk on high-quality outputs. We argue that both assumptions can be satisfied in practice by an attacker with weaker computational capabilities than the watermarked model itself, to which the attacker has only black-box access. Furthermore, our assumptions will likely only be easier to satisfy over time as models grow in capabilities and modalities. We demonstrate the feasibility of our attack by instantiating it to attack three existing watermarking schemes for large language models: Kirchenbauer et al. (2023), Kuditipudi et al. (2023), and Zhao et al. (2023). The same attack successfully removes the watermarks planted by all three schemes, with only minor quality degradation.