Bypassing LLM Watermarks with Color-Aware Substitutions

📄 arXiv: 2403.14719v1 📥 PDF

作者: Qilong Wu, Varun Chandrasekaran

分类: cs.CR, cs.CV, cs.LG

发布日期: 2024-03-19

💡 一句话要点

提出自颜色测试替代方法以解决LLM水印检测问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 水印检测 大型语言模型 颜色感知 文本生成 信息安全

📋 核心要点

  1. 现有水印检测方法在处理长文本时效果不佳，无法有效规避检测。
  2. 本文提出的SCTS方法通过获取颜色信息并替代特定标记，成功绕过水印检测。
  3. 实验结果显示，SCTS在编辑次数上优于相关工作，并能处理任意长度的水印文本。

📝 摘要（中文）

本文提出了一种新的水印绕过方法，旨在识别文本是人类还是大型语言模型（LLM）生成的。现有的水印策略偏向于生成特定的“绿色”标记，但其鲁棒性尚未得到充分验证。现有攻击方法在处理较长文本时无法有效规避检测。为此，本文提出了自颜色测试基础的替代方法（SCTS），这是首个“颜色感知”攻击方法。SCTS通过战略性提示水印LLM并比较输出标记的频率来获取颜色信息，利用这些信息确定标记颜色，并用非绿色标记替代绿色标记。实验表明，SCTS在进行较少编辑的情况下成功规避了水印检测，并且理论和实证结果均表明其能够去除任意长度的水印文本。

🔬 方法详解

问题定义：本文旨在解决现有水印检测方法在长文本处理中的鲁棒性不足问题。现有攻击方法在较长文本段落中无法有效规避水印检测，限制了其应用场景。

核心思路：论文提出的SCTS方法通过获取水印LLM生成的文本的颜色信息，利用该信息进行标记替代，从而绕过水印检测。该设计基于对标记颜色的理解，能够更精准地进行替代。

技术框架：SCTS的整体流程包括三个主要阶段：首先，通过特定提示获取水印LLM的输出；其次，分析输出标记的频率以确定其颜色；最后，替代绿色标记为非绿色标记，完成水印的绕过。

关键创新：SCTS是首个“颜色感知”攻击方法，能够在较少的编辑次数下成功绕过水印检测，与现有方法相比，其在处理长文本时表现出更高的鲁棒性。

关键设计：SCTS在参数设置上注重提示的设计，以确保获取准确的颜色信息。此外，频率分析模块的设计使得标记替代过程更加高效，确保了较低的编辑成本。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，SCTS在绕过水印检测时所需的编辑次数显著低于相关工作，且能够处理任意长度的水印文本。这一创新方法在理论和实证上均证明了其有效性，为水印检测的研究提供了新的视角。

🎯 应用场景

该研究的潜在应用领域包括文本生成、内容审核和信息安全等。通过有效绕过水印检测，SCTS可以帮助研究人员和开发者在保护知识产权的同时，探索更灵活的文本生成和处理方式。未来，该方法可能对文本生成技术的安全性和可靠性产生深远影响。

📄 摘要（原文）

Watermarking approaches are proposed to identify if text being circulated is human or large language model (LLM) generated. The state-of-the-art watermarking strategy of Kirchenbauer et al. (2023a) biases the LLM to generate specific (green'') tokens. However, determining the robustness of this watermarking method is an open problem. Existing attack methods fail to evade detection for longer text segments. We overcome this limitation, and propose {\em Self Color Testing-based Substitution (SCTS)}, the firstcolor-aware'' attack. SCTS obtains color information by strategically prompting the watermarked LLM and comparing output tokens frequencies. It uses this information to determine token colors, and substitutes green tokens with non-green ones. In our experiments, SCTS successfully evades watermark detection using fewer number of edits than related work. Additionally, we show both theoretically and empirically that SCTS can remove the watermark for arbitrarily long watermarked text.