Flip, Don't Shuffle: Watermarking LLMs at the Speed of Inference

📄 arXiv: 2609.03844v1 📥 PDF

作者: Simone Ceppi, Ignacio Sanchez

分类: cs.CR, cs.CL, cs.LG

发布日期: 2026-09-03

备注: Accepted at EMNLP 2026 Main Conference

💡 一句话要点

提出无状态伯努利水印以提升大语言模型的水印效率

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 水印技术 伯努利试验 统计水印 GPU加速

📋 核心要点

  1. 现有水印方法如KGW和SynthID在效率和复杂度上存在不足，限制了其在大语言模型中的应用。
  2. 本文提出的无状态伯努利水印（SBW）通过每个标记的伯努利试验实现高效水印，降低了复杂度并提高了执行速度。
  3. 实验结果表明，SBW在各批量大小下的开销低于1%，并且在水印质量上有显著提升，ROC-AUC差异低于0.01。

📝 摘要（中文）

本文介绍了无状态伯努利水印（SBW），这是一种新型的统计水印方法，通过独立的每个标记伯努利试验来确定绿色列表的成员资格。与KGW的词汇置换或SynthID的多层比赛不同，SBW每个标记仅需与基于计数的随机数生成器进行一次比较，从而将成员复杂度降低到$O(1)$，并实现零中间分配的单内核执行。我们证明了该公式在检测保证方面与固定大小的绿色列表相同：在零假设下，z-score测试保持$ ext{N}(0,1)$。无状态架构使得现有方法无法实现的能力成为可能：全词汇自盐水印（比KGW的自盐快超过6000倍，比SynthID快2倍），并与分布式推理架构兼容。在端到端生成基准测试中，SBW在所有批量大小下增加的开销不到1%。

🔬 方法详解

问题定义：本文旨在解决现有大语言模型水印方法在效率和复杂度上的不足，尤其是KGW和SynthID的局限性。

核心思路：论文提出的无状态伯努利水印（SBW）通过独立的每个标记进行伯努利试验，简化了水印检测过程，降低了复杂度至$O(1)$。

技术框架：SBW的整体架构包括一个基于计数的随机数生成器和每个标记的独立比较模块，确保了水印的高效性和准确性。

关键创新：SBW的核心创新在于其无状态设计和全词汇自盐水印能力，使其在速度上远超现有方法，且与分布式推理架构兼容。

关键设计：在设计中，采用了GPU原生的Jenkins哈希函数，显著提高了零假设校准的效果，并在水印质量上实现了多样性提升。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果显示，SBW在所有批量大小下的开销低于1%，并且在水印质量方面，使用GPU原生Jenkins哈希函数使得零假设校准提高了1.8倍，文本多样性也得到了改善。

🎯 应用场景

该研究的潜在应用领域包括大语言模型的安全性和版权保护，尤其是在需要快速水印检测的场景中。SBW的高效性和低开销使其适用于实时应用，未来可能在多种自然语言处理任务中得到广泛应用。

📄 摘要（原文）

We introduce Stateless Bernoulli Watermarking (SBW), a new statistical watermark for Large Language Models that determines green list membership through independent per-token Bernoulli trials. Unlike KGW's vocabulary permutation or SynthID's multi-layer tournament, SBW requires only a single comparison per token against a counter-based random number generator, reducing membership complexity to $O(1)$ and enabling single-kernel execution with zero intermediate allocations. We prove that this formulation preserves the same detection guarantees as fixed-size green lists: the z-score test remains $\mathcal{N}(0,1)$ under the null. The stateless architecture enables capabilities unavailable to existing methods: full-vocabulary self-salt watermarking (over 6000$\times$ faster than KGW's self-salt and 2$\times$ faster than SynthID despite biasing the entire vocabulary with candidate-dependent seeding) and architectural compatibility with distributed inference. In end-to-end generation benchmarks, SBW adds less than 1\% overhead at all batch sizes. We additionally identify hash function design as a previously unexplored axis for watermark quality, showing that a GPU-native Jenkins hash improves null calibration by 1.8$\times$ while producing more diverse text. Experiments across two seeding schemes and eight $(γ, δ)$ configurations confirm statistical equivalence with ROC-AUC differences below 0.01.