Watermark Stealing in Large Language Models

📄 arXiv: 2402.19361v2 📥 PDF

作者: Nikola Jovanović, Robin Staab, Martin Vechev

分类: cs.LG, cs.AI, cs.CR

发布日期: 2024-02-29 (更新: 2024-06-24)

备注: ICML 2024

💡 一句话要点

提出水印窃取算法以解决大型语言模型水印安全性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 水印技术 大型语言模型 安全性 攻击算法 逆向工程

📋 核心要点

  1. 现有的LLM水印方案存在水印窃取的根本性漏洞，导致其安全性受到质疑。
  2. 本文提出了一种自动化的水印窃取算法，能够有效逆向工程水印并增强攻击效果。
  3. 实验结果表明，攻击者可在50美元内成功实施欺骗和清除攻击，成功率超过80%。

📝 摘要（中文）

大型语言模型（LLM）水印技术被认为是检测AI生成内容的有效方法，但本文质疑现有方案的安全性，指出水印窃取（WS）是其根本性漏洞。通过查询水印LLM的API，攻击者可以逆向工程水印，实施实用的欺骗攻击，并显著增强清除攻击。我们首次提出了一种自动化的水印窃取算法，并在现实场景中进行了全面研究，结果显示，攻击者只需花费不到50美元即可成功实施欺骗和清除攻击，成功率超过80%。这些发现挑战了对LLM水印的普遍认知，强调了开发更强大方案的必要性。

🔬 方法详解

问题定义：本文旨在解决大型语言模型水印技术的安全性问题，现有方案容易受到水印窃取攻击，导致其有效性受到质疑。

核心思路：我们提出了一种自动化的水印窃取算法，通过查询水印LLM的API，攻击者能够逆向工程水印，从而实施欺骗和清除攻击。

技术框架：整体架构包括水印提取模块和攻击实施模块。水印提取模块负责从LLM中提取水印信息，而攻击实施模块则利用提取的信息进行欺骗和清除攻击。

关键创新：本文的主要创新在于首次提出了水印窃取算法，并在现实场景中进行了全面的实验研究，揭示了现有水印方案的脆弱性。

关键设计：在算法设计中，我们设置了特定的参数以优化水印提取效果，并使用了适当的损失函数来提高攻击成功率。

🖼️ 关键图片

img_0

📊 实验亮点

实验结果显示，攻击者在不到50美元的成本下，能够成功实施欺骗和清除攻击，成功率超过80%。这一发现显著高于以往认为的安全水印方案，挑战了当前的技术信念。

🎯 应用场景

该研究的潜在应用领域包括内容生成、版权保护和AI内容检测等。通过揭示现有水印技术的脆弱性，推动了更安全的水印方案的开发，具有重要的实际价值和未来影响。

📄 摘要（原文）

LLM watermarking has attracted attention as a promising way to detect AI-generated content, with some works suggesting that current schemes may already be fit for deployment. In this work we dispute this claim, identifying watermark stealing (WS) as a fundamental vulnerability of these schemes. We show that querying the API of the watermarked LLM to approximately reverse-engineer a watermark enables practical spoofing attacks, as hypothesized in prior work, but also greatly boosts scrubbing attacks, which was previously unnoticed. We are the first to propose an automated WS algorithm and use it in the first comprehensive study of spoofing and scrubbing in realistic settings. We show that for under $50 an attacker can both spoof and scrub state-of-the-art schemes previously considered safe, with average success rate of over 80%. Our findings challenge common beliefs about LLM watermarking, stressing the need for more robust schemes. We make all our code and additional examples available at https://watermark-stealing.org.