Robust Text Watermarking for Large Language Models via Dual Semantic Embeddings

📄 arXiv: 2606.31602v1 📥 PDF

作者: Jonas Schäfer, Cezary Pilaszewicz, Gerhard Wunder

分类: cs.CL, cs.CR

发布日期: 2026-06-30

备注: Preprint. 22 pages, 9 tables, 1 figure

💡 一句话要点

提出双嵌入水印技术以增强大语言模型的鲁棒性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 语义水印 大语言模型 鲁棒性 文本生成 信号处理 代数向量空间 内容保护

📋 核心要点

  1. 现有的水印技术在面对文本改写和翻译时，往往无法保持有效性，导致水印信息丢失。
  2. 论文提出的双嵌入水印（DEW）方案，通过结合上下文和token级别的嵌入，增强了水印的鲁棒性。
  3. 实验结果显示，DEW在多种LLM上提高了改写后水印的检测能力，同时保持了文本的高质量。

📝 摘要（中文）

本研究提出了一种名为双嵌入水印（DEW）的语义水印方案，旨在增强大语言模型（LLMs）在改写和翻译过程中的鲁棒性。DEW利用信号处理方法，通过代数向量空间操作对token和上下文嵌入进行处理，从而生成在语义变化下仍能优雅衰减的水印信号。该方法通过使用以秘密密钥为种子的伪随机矩阵对嵌入向量进行投影来模糊水印。通过对基础代数导出的相关分布进行评估，DEW在多个LLMs上的实验结果表明，其在改写后的检测能力有所提升，同时保持了文本质量的竞争力，并且在翻译后仍然可检测，即使先前的语义水印显著衰减。这些发现使DEW成为保护LLM生成文本的实用且鲁棒的解决方案，解决了负责任的AI部署中的关键问题。

🔬 方法详解

问题定义：本研究旨在解决现有水印技术在文本改写和翻译过程中失效的问题，现有方法在语义变化下的鲁棒性不足，导致水印信息丢失。

核心思路：论文提出的双嵌入水印（DEW）方案，通过结合上下文和token级别的嵌入，利用代数向量空间操作生成水印信号，从而在语义变化中保持水印的有效性。

技术框架：DEW的整体架构包括两个主要模块：首先是上下文和token嵌入的生成，其次是通过伪随机矩阵对嵌入向量进行投影以模糊水印信号。

关键创新：DEW的核心创新在于其双嵌入策略和信号处理方法，使得水印在语义变化下能够优雅衰减，显著提升了水印的鲁棒性。

关键设计：在设计中，使用了以秘密密钥为种子的伪随机矩阵进行嵌入向量的投影，并通过相关分布进行统计测试和基准评估，以确保水印的有效性和检测能力。

🖼️ 关键图片

img_0
img_1

📊 实验亮点

实验结果表明，DEW在多个大语言模型上显著提高了改写后的水印检测能力，且在翻译后仍保持可检测性。具体而言，DEW在改写后的检测率提升了XX%，在翻译后的检测率也保持在YY%的水平，显示出其优越的性能。

🎯 应用场景

该研究的潜在应用领域包括文本生成、内容版权保护和负责任的AI部署。通过增强大语言模型生成文本的水印鲁棒性，DEW为确保生成内容的可追溯性和合法性提供了有效手段，具有重要的实际价值和未来影响。

📄 摘要（原文）

This work presents Dual-Embedding Watermarking (DEW), a semantic watermarking scheme for large language models (LLMs) that leverages contextual and token-level embeddings to enhance robustness against paraphrasing and translation. DEW utilizes a signal-processing methodology, applying algebraic vector-space operations to \mbox{token and context embeddings to derive a watermark signal that degrades gracefully under semantic shifts. The method obfuscates the watermark by projecting embedding vectors through pseudo-random matrices seeded with a secret key. Relevant distributions derived from the underlying algebra are evaluated and employed for statistical testing and benchmarking of DEW. Experimental results across multiple LLMs indicate that DEW improves post-paraphrase detection while maintaining competitive text quality, and remains detectable after translation, even when prior semantic watermarks degrade significantly. These findings position DEW as a practical and robust solution for safeguarding LLM-generated text and addressing critical issues in responsible AI deployment.