TextSeal2: Distortion-Free LLM Watermarking with Copula Mixing and Memoryless Races

📄 arXiv: 2610.40613v1 📥 PDF

作者: Tom Sander, Pierre Fernandez, Itai Gat, Haiming Bao, Jiaxin Shi, Jason Park, Valeriu Lacatusu, Sylvestre-Alvise Rebuffi, Hongyan Chang, Hady Elsahar, Tomáš Souček, Tuan Tran, Surya Parimi, Alexandre Mourachko

分类: cs.CR, cs.AI, cs.CL

发布日期: 2026-10-29

备注: Code: https://github.com/facebookresearch/textseal

💡 一句话要点

提出TextSeal2以解决大语言模型水印失真问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 水印技术 推测解码 高斯copula 信息安全 内容验证 水印检测

📋 核心要点

  1. 现有的水印技术在推测解码过程中可能导致信号失真，影响水印的有效性和输出多样性。
  2. TextSeal2通过将多个密钥合并为一个虚拟密钥，并引入高斯copula，优化了水印的检测过程，保持了输出的多样性。
  3. 实验结果显示，TextSeal2在相同的输出多样性下，检测率比TextSeal提高了8到22个百分点，且在推测解码下也有显著提升。

📝 摘要（中文）

我们提出了TextSeal2，这是一种无失真的大语言模型水印技术，能够在推测解码下保持信号完整性：替换被拒绝草稿的标记仍然使用相同的水印密钥，且接受率不变。该方法还保持了输出多样性，并且没有可测量的推理延迟。与前身TextSeal相比，TextSeal2通过将两个或多个密钥合并为一个虚拟密钥，并通过AutoMark的高斯copula与新噪声耦合，优化了水印检测。实验结果表明，TextSeal2在三个大语言模型上表现优异，检测率显著提高。

🔬 方法详解

问题定义：论文旨在解决现有大语言模型水印技术在推测解码过程中信号失真和输出多样性降低的问题。现有方法如TextSeal在多样性恢复上存在不足，导致水印检测效果不佳。

核心思路：TextSeal2的核心思路是将多个水印密钥合并为一个虚拟密钥，并通过高斯copula与新噪声耦合，从而在保持水印有效性的同时，确保输出的多样性和接受率不变。

技术框架：整体架构包括水印密钥的合并模块、噪声耦合模块和推测解码验证模块。首先，多个密钥被合并为一个虚拟密钥，然后引入新噪声，最后通过推测解码进行验证。

关键创新：最重要的技术创新在于通过高斯copula实现密钥的合并，避免了传统方法中密钥平均化带来的信息损失。这种设计使得水印检测更加高效且准确。

关键设计：在参数设置上，TextSeal2允许任意数量的密钥合并，并且在推测解码中引入了额外的指数竞争，以确保输出与目标模型完全一致。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，TextSeal2在相同的输出多样性下，检测率比TextSeal提高了8到22个百分点，且在推测解码下，分别比TextSeal和textGrain多检测了18和22个百分点的200-token答案，显示出显著的性能提升。

🎯 应用场景

该研究的潜在应用领域包括大语言模型的版权保护、内容验证和信息追踪等。通过有效的水印技术，能够确保生成内容的真实性和可追溯性，具有重要的实际价值和社会影响。

📄 摘要（原文）

We present TextSeal2, a distortion-free watermark for large language models that keeps its signal under speculative decoding: tokens that replace rejected drafts remain watermarked with the same keys, and the acceptance rate is unchanged. It also preserves output diversity and adds no measurable inference latency. Its predecessor, TextSeal, restores diversity in the Gumbel-max scheme by routing each token to one of two keys via a coin flip. This is suboptimal because the detector averages the scores from both keys without knowing which key was used. TextSeal2 instead merges two or more keys into a single virtual key and couples it to fresh noise through AutoMark's Gaussian copula. Any number of keys, including publicly shared keys, can be merged this way without diluting detection. Under speculative decoding, TextSeal2 verifies keyed drafts with one more exponential race, run on the leftovers of the draft races. By memorylessness, this race reproduces block verification, so the output follows the target model exactly. We evaluate TextSeal2 on three LLMs. At equal output token diversity, TextSeal2 detects 8 to 22 percentage points more 100-token answers than TextSeal at a false-positive rate of $10^{-3}$, and is comparable to textGrain while requiring no post-logits optimization. Under speculative decoding, it detects 18 and 22 percentage points more 200-token answers than TextSeal and textGrain, respectively, at the same acceptance rate.